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《最 优化 基础 一 一 模型 与 方法 》 系 列 教材 序言 


最 优化 是 人 们 在 工程 技术 .科学 研究 和 经 莘 管 理 的 诸 雪 领域 
中 经 常 遇 到 的 问题 。 结 构 设 计 要 在 满足 强度 要 求 等 条 件 下 使 所 用 
材料 的 总 重 基 最 轻 ; 资 源 分 配 要 使 各 用 户 利 用 有 限 资源 产生 的 总 
效益 最 大 :安排 运输 方案 竖 在 满足 物资 需求 和 装载 条 件 下 使 运输 
总 费用 最 低 :编制 生产 计划 要 按照 产品 工艺 流程 和 顾客 需求 ,尽量 
降低 人 力 . 设 备 . 原 材料 等 成 本 使 总 利润 最 高 .可 以 预料 , 随 着 科学 
技术 尤其 是 计算 机 技术 的 不 断 发 展 , 以 及 数学 理论 与 方法 向 各 门 
学 科 和 各 个 应 用 领域 的 更 广泛 .更 深入 的 淫 透 ,在 即将 到 来 的 21 
世纪 信息 时 代 , 最 优化 理论 和 技术 必 将 在 社会 的 诸多 方面 起 着 起 
来 越 大 的 作用 。 

解决 实际 生活 中 优化 问题 的 手段 大 致 有 以 下 几 种 :一 是 莫 经 
验 的 积 黑 , 赁 主观 作 判 断 : 二 是 化 试验 选 方案 , 比 优 劣 定 决 策 ; 一 是 
建立 数学 覃 型 ,求解 最 优 和 策略。 虽然 由 于 建 模 时 要 作 适 当 简 化 ,可 
能 使 结果 不 - 定 非常 宫 善 ,但 是 它 基于 客观 数据 ,求解 问题 简便 、 
开 活 .经 济 , 耐 且 规 模 可 以 很 大 (将 来 会 越 来 越 大 )。 人 们 还 可 以 吸 
收 共 经 验 得 到 的 规则 ,用 实验 来 不 断 校正 建立 的 模型 . 随 着 数学 方 
法 和 计算 机 技术 的 进步 ,用 建 模 和 数值 杰 拟 解决 优化 问题 这 一 手 
段 ,将 会 越 来 越 显示 出 它 的 效能 和 威力 .显然 ,在 央 策 定 量化 、 科 学 
化 的 呼声 日 益 高 涨 的 今天 ,数学 建 模 方法 的 推广 应 用 是 符 会 时代 
潮流 和 形势 发 展 需要 的 。 

最 统 化 理论 .模型 与 方法 所 包 会 的 内 容 很 多 ; 周 内 已 出 版 了 不 
少 教材 和 专著 介绍 其 各 个 分 支 。 但 是 一 方面 ,近年 来 发 展 起 来 的 . 
有 着 广泛 应 用 背景 的 规划 模型 (如 随机 规划 、 和 模糊 规划 等 ), 以 及 一 
些 已 经 为 许 包 人 采用 .受到 广泛 关注 的 优化 算法 (如 模拟 退火 . 遗 
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传 算法 等 ), 述 缺乏 详细 和 系统 的 介绍 ; 另 一 方面 ,一 些 饥 重 忧 化 型 
论 和 方法 的 教材 ,其 要 求 难以 与 工科 学 生 的 数学 知识 衔接 ,出 语 少 
对 于 应 用 来 说 十 分 重要 的 建 模 过 程 和 软件 介绍 ,而 一 些 比 较 通 众 
的 运筹 党 教材 , 则 在 吉 强 理论 基础 ,着 应 学 生 将 来 从 事 科 研 工 作 需 
要 上 考 圳 较 少 .我 们 这 套 教 材 试 图 弥补 以 上 两 方面 的 缺陷 ,力求 体 
现下 述 特点 : 

1. 内 容 既 包含 传统 的 线性 规划 与 非 线性 规划 等 部 分 ,又 纳 人 
有 广泛 应 用 前 景 的 随机 规划 和 模糊 规划 ;在 传统 内 容 中 , 既 注 重典 
型 的 数学 思想 和 方法 的 系统 叙述 ,又 引 人 丰 富 的 建 模 实例 。 

2， 数 学 基础 既 与 工科 学 生 所 学 知识 衔接 ,又 考虑 到 研究 生 阅 
读 文 献 . 从 事 科研 工作 的 需要 ,适当 提高 理论 基础 的 起 点 。 

3. 对 -~ 艇 教材 介绍 的 诸多 算法 进行 精 选 ,配合 介绍 一 些 应 用 
软件 ,并 引 人 近 年 来 迅速 发 展 的 若干 新 算法 。 

本 系列 教材 将 陆续 出 版 , 首 批 四 册 为 : 线 性 与 非 线性 规划 》、 
《网 络 优化 4 现代 优化 计算 方法 》《 随 机 起 划 与 模糊 规划 》。 

由 于 水 平 所 限 , 书 中 难免 有 缺陷 和 错误 , 诚 导 希望 读者 予以 批 
评 指 正 。 
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随 着 20 世纪 80 年 代 初 期 禁 甩 搜索、 模拟 退火 、 咀 传 算法 和 人 
工 神经 网 络 算法 的 兴起 ,科学 工作 者 对 这 些 算 法 的 模型 .理论 和 应 
用 技术 等 一 系列 问题 进行 着 深入 的 研究 ,并 将 这 些 算法 称 为 现代 
优化 算法 。 现 代 优 化 算法 的 主要 应 用 对 象 是 优化 问题 中 的 难 解 问 
题 ,也 就 是 优化 理论 中 的 NP-hard 问题 。 正 是 因为 很 多 实际 优化 
问题 的 难 解 性 ,和 现代 优化 算法 在 一 些 优 化 问题 中 的 成 功 应 用 ,使 
得 现代 优化 算法 成 为 解决 优化 问题 的 一 种 有 力 工 具 。 科 学 工作 者 
对 现代 优化 算法 抱 以 极 太 的 热情 和 期 望 , 几 平 在 各 种 难 解 的 优 北 
问题 中 ,他 们 都 尝试 这 些 算法 的 应 用 和 比较 其 应 用 效果 。 

在 国际 和 国内 ,每 一 种 现代 优化 算法 都 有 相应 的 专著 ,其 中 有 
较为 详尽 的 理论 和 应 用 论述 。 很 多 科学 工作 者 期 望 对 这 些 算 法 有 
一 定 的 了 解 , 以 在 实际 应 用 中 有 目的 地 采用 .基于 人 们 的 这 些 期 望 
和 关注 ,我 们 将 这 些 算法 集 于 一 书 , 从 简单 实例 的 应 用 ,到 其 理论 ，、 
应 用 技术 及 应 用 案例 的 深入 分 析 , 由 易 儿 难 地 向 相关 优化 专业 的 
硕士 ,博士 研究 生 介绍 现代 优化 算法 的 相关 模型 .理论 、 应 用 技术 
和 一 些 应 用 实 便 ,在 国内 ,这 可 能 是 首次 尝试 。 本 书 也 可 供 科 学 研 
究 人 员 在 这 些 领 域 研 究 时 参考 。 

我 们 不 希望 将 现代 优化 算法 中 的 诸多 算法 简单 地 堆 集 在 一 
起 ,而 是 设法 将 它们 有 机 地 集 于 一 书 。 基 于 这 种 想法 ,本 书 由 6 章 
组 成 。 第 1 章 介 绍 了 现代 优化 算法 要 解决 的 问题 及 它们 中 的 共同 
点 ,并 将 本 书 各 章 衡 接 在 一 起 ,第 2 章 . 第 3 章 . 第 4 章 和 第 5 章 分 
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别 介 绍 禁忌 搜索 算法 .模拟 退火 算法 、 遗传 算法 和 人 工 神 经 网 络 算 
法 ,这 些 是 现代 优化 算法 的 组 成 。 第 6 章 提供 评价 算法 的 :种 工 
其 : 拉 格 明日 松 籽 算法 . 

第 1 竟 为 概论 。 首 先 介 绍 遇 代 优化 算法 所 要 解 次 的 组 台 优 化 
问题 ,通过 复杂 性 概念 的 引信 ,全 得 我 们 知道 为 什么 和 在 什么 情况 
下 将 现代 优化 算法 应 用 到 优化 问题 。 通 过 韩 域 和 算法 评价 方法 的 
介绍 ,使 我 们 找 出 现代 优化 算法 的 - 些 共 问 点 .由 于 有 关 复 杂 性 概 
念 的 内 容 不 易 理解 ,因此 ,作者 在 处 理 这 部 分 内 容 时 ,以 多 个 典型 
组 合 优化 问题 为 背景 ,; 道 过 对 它们 的 一 步 步 分 析 来 介绍 复杂 性 的 

-个 个 概念 ,为 了 适 庶 不 同 层次 的 读者 ,本章 将 复杂 性 概念 的 内 容 
分 为 1.2 节 和 1.5 节 两 部 分 。1.2 节 介 绍 了 多 项 式 时 间 吕 求 得 最 
优 解 的 多 项 式 问 题 。，1.5 节 更 进一步 介绍 了 NP、NP-complete 和 
NP-hard 概念 ,对 学 时 要 求 较 少 或 非 运筹 学 专 民 学 生 的 教学 ,可 以 
酷 去 1.5 节 。 

将 第 2,3,4,5 这 四 章 的 内 容 作为 一 个 整体 ,从 最 容易 理解 的 
后 部 搜索 算法 开始 ,逐步 深信 地 介绍 全 局 搜索 的 禁忌 搜索 算法 , 带 
有 随 骨 搜索 的 模拟 退火 和 遗传 算法 ,最 后 ,给 出 人 人工 神 经 网 络 算 
法 。 对 学 时 要 求 较 少 或 韭 运 羞 学 专业 学 生 的 教学 ,可 以 略 去 3.2 
节 .3.3 节 和 4.3 节 中 的 证 明 。 

第 56 章 拉 格 记 日 松弛 算法 使 得 本 书 成 为 一 个 整体 。 我 们 不 仪 
要 学 会 应 用 现代 优化 算法 ,还 应 该 学 会 评价 这 些 算法 .对 于 极 小 化 
生 标 沙 数 的 优化 问题 ,现代 优化 算法 能 给 出 一 个 目标 值 不 低 于 最 
优 日 标 值 的 可 行 解 , 当 评价 一 个 算法 的 计算 效率 时 ,可行 解 目标 值 
朵 最 优 目标 值 一 个 下 界 的 善 是 评价 的 标准 之 一 ， 拉 格 朗 日 格 弛 算 
法 则 是 提供 最 优 目 标 值 下 界 的 工具 之 一 。 

对 掌 时 要 求 较 少 或 非 运 筹 学 专业 学 生 的 教学 ,可 以 参考 下 图 
教学 内 容 : 


3 :3.3 4.114. 3， 

(了 略 讲 明 1 | .44.5 

3.4,3.5, 8 
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本 飞 足 在 1997 年 者 季 我 以 研究 生 “ 现 代 最 优化 算法 ”课程 讲 
稿 的 基础 上 ,经 过 1998 年 和 1999 年 陋 次 讲授 后 向 理 和 扩充 而 成 
的 在 此 过 程 中 ,研究 生 们 给 六 了 非常 有 益 的 建议 。 自 90 年 代 初 
期 , 姜 自 游 教授 和 韩 继 业 教授 投入 了 很 大 的 心血 ,组 织 了 组 合 优化 
问题 讨论 班 并 得 到 国家 自然 科学 基金 资助 ,这 个 讨论 班 和 基金 资 
助 使 我 们 积累 了 大 其 有 价值 的 材料 ,在 写作 的 过 程 中 ,香港 城市 太 
学 的 黎 建 强 和 林 国 健 教 授 提 供 的 资料 太 大 丰富 了 书 中 的 内 容 。 谭 
渗 光 , 胡 冠 章 , 林 举 琴 、 刘 宝 碎 教授 和 张 家 竺 同学 等 阅读 并 棋 改 了 
我 们 的 手稿 ,给 我 们 提出 很 多 很 好 的 建议 。 在 此 ,对 结 予 我 们 帮助 
欧 老 师 、 出 版 社 的 编辑 和 同学 们 表示 感 交 ! 对 给 予 我 们 部 分 资助 的 
教育 部 高 等 学 校 王 科 数 学 教育 基地 表示 感谢 ! 最 后 ,对 我 们 家 人 的 
耐心 和 支持 表示 由 串 的 谢意 ! 

由 于 我 们 的 水 平 有 限 , 奶 请 读者 对 本 书 的 不 足 之 好 批评 指正 。 


邢 文 训 ” 谢 金星 
1999 年 春 于 清华 园 
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第 1 章 
概 论 


现代 优化 算法 包括 禁忌 搜索 Cabu search), 模 所 退火 (simu- 
lated annealing) .遗传 算法 (genetic algorithms)、 神 经 网 络 (neural 
networks) 和 拉 格 朗 日 检 弛 等 算法 . 这 些 算 法 处 及 生物 进化 .人 工 
智能 .数学 和 物理 科学 .神经 系统 和 统计 力学 等 概念 ,都 是 以 一 定 
的 直观 基础 而 构造 的 算法 ,我 们 称 之 为 启发 式 算 法 .启发 式 算法 的 
兴起 与 计算 复杂 性 理论 的 形成 有 密切 的 联系 . 当 人 们 不 满足 常规 
算法 求解 复杂 问题 时 ,现代 优化 算法 开始 体现 其 作用 . 现代 优化 算 
法 自 80 年 代 初 兴起 ,至 今 发 展 迅速 - 例如 ,在 1996 年 ,Dsman 在 
文 L1 中 分 类 罗列 了 1400 篇 相关 文章 .因此 ,这 些 算法 同人 工 智 
能 .计算 机 科学 和 运筹 学 相 柄 合 就 不 足 为 奇 了 .本章 主 要 介绍 组 合 
优化 问题 ,计算 复杂 性 和 启发 式 算 法 的 概念 ， 


1.1 组 合 最 优化 问题 


组 合 最 优化 (combinatorial optimization) 是 通过 对 数学 方法 
的 研究 去 寻 技 高 散 事 件 的 最 优 编排 .分 组 .次 序 或 筛选 等 ,是 运筹 
学 (operations research) 中 的 一 个 经 典 且 重 要 的 分 支 , 所 研究 的 问 
题 涉 及 信息 技术 .经 济 管理 ,工业 工程 、 交 通 运输 .通信 网络 等 诸多 
领域 . 该 问题 可 用 数学 模型 描述 为 ; 
minftx) 
st. 0， 
ED, 
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其 中 ,x) 为 目标 围 数 ,gr(z) 为 约束 胃 数 ,x 为 决策 变量 ,DD 表示 
有 人 限 个 点 组 成 的 集合 . 

一 个 组 全 最 优化 问题 可 用 三 参数 (了 D,F ,站 表示 ,其 中 也 表示 
决策 误 基 的 定义 城 ,F 表示 可 行 解 区域 下 二 {x|x € 也 , g(x) 实 
07 7 中 的 什 何 一 个 元 素 称 为 该 问题 的 可 行 解 ,上 表示 目标 函数 . 
满足 f/x") 一 min{f(x)|x EF} 的 可 行 解 工 称 为 该 问题 的 最 优 
解 . 组 合 最 优化 的 特点 是 可 行 解 集合 为 有 限 点 集 . 由 直观 可 知 ,只 
要 将 五 中 有 限 个 点 逐一 判别 是 否 满 足 g(x) 的 约束 和 比较 目标 值 
的 大 小 ,该 问题 的 最 优 解 一 定 存在 和 可 以 得 到 . 因为 现实 生活 中 的 
大 量 优化 问题 是 从 有 限 个 状态 中 选取 最 好 的 ,所 以 大 量 的 实际 优 
尼 问 题 是 组 合 量 优 北 问题 . 

例 1.1 0-1 背包 问题 (knapsack problem) 

设 有 :一 个 容积 为 5 的 背包 ,nt 个 体积 分 别 为 aiGi 二 1,2,… ny， 
价值 分 别 为 cidz 二 1,2,… ,nn) 的 物品 ,如 何以 最 大 的 价值 装 包 ?这 
个 间 题 称 为 0-1 背包 问题 . 用 数学 模型 表示 为 ， 


max Daz {1.1) 
i—} 

s.t. Dl ar < (1. 2) 
i=1 
工 ; 他 10,1} ,7 一 ls Ci. 3) 


其 中 目标 (1.1) 和 欲 使 包 内 所 装 物品 的 价值 最 太 ,(1. 2) 为 包 的 能 力 
限制 ,(1. 3) 表示 xz; 为 二 进 制 变量 ,z; 二 1 表示 装 第 :个 物 上 部 , 一 
0 表示 不 装 . 此 时 , 喇 二 10,1)", 下 为 局 中 满足 (1. 2) 的 可 行 解 .了 为 
目标 函数 . 站 

例 1.2 旅行 商 问 题 (TSP ,traveling salesman problem) 

一 个 商人 人 和合 到 有 个 城市 推销 商品 ,每 两 个 城市 :和 ;之 间 的 距 
离 为 4., 如 何 选择 一 条 道路 使 得 商人 每 个 城市 走 一 让 后 回 到 起 点 
且 所 走路 径 最 短 . TSP 还 可 以 细 分 为 对 称 和 种 非 对 称 距离 两 大 类 问 
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顾 . 当 dd 一 dd iJ 时 , 称 为 对 称 距 离 TSP ,否则 称 非 对 称 距离 
TSP. 对 一 般 的 TSP, 它 的 一 种 数学 模型 描述 为 : 


min >》 dix; (1 4) 
1 

st Dz = lil, (1. 5》 
j=1 
Dx = 1 j= 12, nn (1. 6) 
r= 


Dz 1s| 一 1 ,2 起 | A 一 2,5 咏 (1s2, 好， 
sj ss 


(1. 7》 
Xo EE 0} FJ 一 1 天 (1. 8} 
以 上 是 基于 图 论 的 数学 模型 . 其 中 , (1.8) 中 的 决策 变量 zuv 
二 1 表示 商人 行走 的 路 线 包 含 从 城市 i 到 城市 ;路径 ,xxi = 二 0 表示 
商人 没有 选择 走 这 条 路 .i 关 了 的 约 东 可 以 减少 变量 的 个 数 , 使 得 
共有 nx X (Cn 一 1) 个 决策 变量 , 且 标 (1. 4) 要 求 上 距离 之 和 最 小 , (1. 5》 
要 求 商 人 从 城市 ;出 来 一 次 ,(1. 6) 要 求 商 人 走 人 城市 了 只 有 一 次 . 
《1.5) 和 (1.6) 表示 每 个 城市 经 过 一 次 . 仅 有 (1.5) 和 (1.6) 的 约 
东 无 法 避免 回路 的 产生 ,一 条 回路 是 由 不 (1 三 这) 个 城市 和 名 
条 弧 组 成 ,因此 .(1.7) 约 东 旅行 商 在 任何 一 个 城市 子 集中 不 形成 
回路 ,其 中 1s| 表示 集合 * 中 元 素 个 数 . 此 时 ,DD = {0,1) xm D, 玉 
为 五 中 满足 41.5), (1.6)7 和 (1.7) 的 可 行 解 .上 为 目标 函数 . 口 
上 面 两 个 疝 题 都 是 组 合 优化 中 的 经 典 问 题 . 它们 的 共性 是 起 
者 容易 接受 这 些 问题 ,可 行 解 集 合 是 有 限 的 ,在 问题 的 规模 较 小 
时 ,通过 校 举 很 容易 得 到 最 优 解 . 
例 1.3 整数 线性 规划 (integer linear programming) 
mine™x 
CIP) s.t. Ax = bb， 
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XEOAXAE PB", 

其 中 ,为 n 维 列 向 量 ,A4 为 rx XX5 矩阵 ,8 为 mm 锥 列 向 量 ,x 为 #n 维 
决策 变量 ,天 表示 nn 维 幕 数 集合 .模型 中 的 系数 4. 种 cc 的 元 素 都 
是 束 数 . 口 ] 

例 1.2 和 1.3 的 数学 模型 都 具有 (IP) 的 形式 . 一 些 组 合 优 化 
癌 题 可 以 写成 整数 线性 躯 划 问 题 . 整数 线性 规划 同 线性 规划 形式 
上 非常 相似 ,不 同 之 处 是 前 者 的 决策 变量 部 分 或 全 部 取 整 数 . 

在 本 书 中 ,我 们 假 疫 线性 整数 规划 的 系数 荐 整数 . 这 主要 是 因 
为 目前 在 计算 机 计算 中 都 是 以 有 限 位 符号 储存 和 运算 . 很 容易 证 
明 ,IP 中 的 系数 是 有 理 数 时 都 可 以 处 理 成 整数 情况 ， 

例 1.4 装 箱 问题 Cbin backingy》 

如 何以 个 数 最 少 的 尺寸 为 1 的 箱子 装 进 * 个 尺寸 不 超过 1 的 
物品 ,该 问题 为 装 箱 问题 . 

例 1.5 约束 杖 器 排序 问题 (参考 [21) (capacitated machine 
scheduling} 

nn 个 加 工 量 为 {d.1i 二 1,2,…,n} 的 产品 在 一 台 机 器 上 加 工 ， 
机 器 在 第 :个 时 段 的 工作 能 力 为 c,, 求 完成 所 有 产品 加 工 的 最 少时 
段 数 . 它 的 数学 模型 为 


minT (1. 9) 
了 

号 。 十。 Dr, 一 1 一 ]1,2，…ma， {1. 10) 
11 
Sadr Eo t= 12 了 C1. 11) 


Te 0 t= 2 nO TT, C1. 12) 

其 中 ,ze* 了 为 恬 策 变量 ,zs 二 1 表示 第 1 时段 加 工 产 品 i. (1.9) 要 
求 加 工 所 用 的 时 段 数 最 少 ,(1. 10) 表示 产品 主 一 定 在 某 一 个 时 段 
吉 工 , (1. 11) 表示 每 个 时 段 的 加 工 量 不 超过 能 力 的 限制 . 口 
有 些 优化 问题 可 以 用 整数 规划 模型 的 形式 表示 ,如 例 1.1 和 
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1. 2. 有 些 组 合 优化 问题 用 整数 规划 模型 表示 则 比较 复杂 和 不 易 被 
理解 ,不 如 对 问题 采用 直接 狗 述 更易 理解 ,如 例 1.2.1.4 和 1.5. 因 
此 ,有 太 量 的 组 全 优化 问题 是 通过 文字 语言 投 述 的 . 


1.2 计算 复杂 性 的 概念 


由 组 合 最 优化 问题 的 定义 可 知 ,每 一 个 组 合 最 优化 问题 都 可 
以 通过 术 举 的 方法 求 得 量 优 解 . 校 举 是 以 时 间 为 代价 的 ,有 的 枚 举 
时 间 还 可 以 接受 ,有 的 则 下 可 能 接受 . 如 例 1.2 的 非 对 称 距离 TSP 
问题 ,可 以 用 另 一 个 方法 来 表示 它 的 可 行 解 :用 = 个 城市 的 一 个 排 
列 表示 商人 按 这 个 排列 序 推销 并 返回 起 点 . 若 固 定 一 个 城市 为 起 
终点 , 则 和 需要 tx 一 1)1 个 枚 举 . 以 计算 机 1 移 机 以 完成 34 个 城市 所 
有 路径 校 举 为 单位 , 则 25 个 城市 的 计算 时 间 为 :以 第 1 个 城市 为 
起 点 ,第 2 个 到 达 城 市 有 可 能 是 第 2、 第 3、…: ,或 第 25 个 城市 . 决定 
前 两 个 城市 的 顺序 后 ,余下 是 23 个 城市 的 所 有 排列 , 枝 举 这 23 个 
城市 的 排列 需要 1 秒 ,所 以 ,25 个 城市 的 校 举 需要 24 秒 .类 似 地 归 
纳 ,城市 数 同 计算 时 间 的 关系 如 表 1. 1 所 示 . 


表 1.1 枚 举 时 城市 数 与 计算 时 间 的 关系 


城市 数 24 25 26 27 28 29 30 31 


计算 时 间 1s 24s ]0min 4.3h 约 4.9d 136.5d 约 10.8a 的 325a 


通过 表 1. 1 可 以 看 出 , 随 着 城市 数 的 增多 ,计算 时 间 增 加 非常 
之 快 , 当 城市 数 增 加 到 30 时 ,计算 时 间 约 10.8 年 ,已 邯 法 接受 . 

问题 是 一 个 抽象 的 模型 或 概念 , 它 通过 一 些 具体 移 数 据 表现 
出 来 . 阿 题 是 需要 画 答 的 一 般 性 提问 ,通常 含有 若干 个 满足 一 定 条 
件 的 参数 . 问题 通过 下 面 的 描述 给 定 ; (1) 描述 所 有 参数 的 特性 ， 
(2) 描述 管 案 所 满足 的 条 件 , 如 TSP 是 一 个 问题 , 它 由 例 1.2 的 文 
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字 或 模型 (1. 4) 一 (1.8) 表示 ,通过 给 出 的 束 市 数 和 城市 间 的 距离 
而 使 这 个 问题 具体 化 . 日 前 计算 机 可 以 求解 的 是 这 些 给 出 城市 数 
和 城市 阿 的 距离 的 具体 TSP. 一 个 算法 常常 是 针对 一 个 回 题 来 设 
计 的 ,如 上 曾 的 TSP 梳 举 算法 可 以 求解 任何 -- 个 TSP 的 最 优 解 . 
而 车 用 计算 机 求解 , 则 必须 对 问题 中 的 参数 黑 予 上 共 体 值 , 如 工 SP 
中 的 城市 数 和 和 城市 间 的 距离 ,问题 中 的 参数 赋予 了 具体 值 的 例子 
称 为 问题 的 实例 dnstance), 一 个 问题 通过 它 的 所 有 实例 表现 . 

衡 基 一 个 算法 的 好 坏 通常 是 用 算法 中 的 加 , 减 . 匀 、 了 路 和 比较 
等 基本 运算 的 总 次 数 同 实例 的 计算 机 计算 时 的 . : 进 制 输入 数据 的 
人 大小 关系 来 度 基 . 对 于 -个 正 整 数 工 ,二 进 制 表 示 是 以 

二 a a fd 天 的 
的 系数 (ea aian) 来 表示 . 由 
1 1， 

这 个 二 进 制 数 的 位 数 是 :十 1, 也 称 为 数据 xz 的 输入 长 度 ,在 logsx 
与 logzz 十 1 之 同 .于 是 ,x 的 二 进 制 数 的 位 数 是 整数 厂 logsr | 或 
| logsx | 十 1, 但 不 超过 | logsz | 十 1, 其 中 三 < | 表示 不 小 于 x 的 最 
小 整数 , 虽说 logs0 没有 意义 和 logs1 一 0, 特别 常 要 注意 的 是 整数 
0 和 1 的 二 进 制 位 数 都 是 1. 可 以 看 到 ,任何 -- 个 非 负 整数 的 输入 
长 度 至 少 为 1. 在 此 ,在 特别 定义 logz0 = 0 后 ,上 面 的 二 进 制 表示 
方法 和 输入 长 度 的 结论 可 以 推广 到 非 负 整数 . 常规 理解 的 计算 机 
上 只 能 用 有 限 位 表示 一 个 实数 ,因此 ,我 们 限定 只 考虑 有 理 数 ， 

如 表 1.1 对 应 的 TSP, 当 城市 数 为 = 且 第 一 个 城市 为 始终 点 
时 ,让 算 一 条 路 径 (1,zz， ,i.) 长 度 的 基本 运算 为 两 两 城市 间距 离 
的 个 来 和 .因为 有 (rn 一 1)1! 条 路 径 , 枚 举 所 有 有 咯 径 进行 (rz 一 1)1 
次 比较 ,可 以 得 到 最 优 路 径 . 这 个 梳 举 算法 的 基本 计算 总 次 数 为 
{Cn 一 1}n 二 #1. 实例 的 计算 机 计算 时 只 需 输入 城市 数 和 任何 
两 个 城市 的 距离 .于 是 ,输入 数据 是 城市 数 n 和 址 市 闻 的 距 亢 5 一 
(di [1 和 jn,i 关 说 , 且 假 设 这 些 数 为 整数 . 对 任何 -个 非 零 中 
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离 zi;; 它 的 .- 进 制 输 入 数据 的 输入 长 度 不 超过 log;|d| 十 1; 可 以 
用 一 个 稍 大 的 整数 估计 基 | logs |d,| | 十 1, 数 字 0 可 以 用 一 位 二 进 
制 码 表示 . 得 到 实例 的 二 进 制 输 人 长 上 度 总 量 不 超过 
= n(n 17 十 logs {P|, 

其 中 ,P= dda, £0}. 

若 假 设 洛 一 {Ql 入 7 玉 Wi 关 说 中 每 一 个 数据 的 绝对 值 
部 有 上 界 玉 , 则 有 工 == nn 一 1) 十 logs|P| 所 nn 一 (1 十 
log; 玉 ). 此 时 发 现 ,TSP 实例 的 计算 机 二 进 制 输入 长 度 和 算法 的 基 
本 计算 总 次 数 都 是 城市 数 的 函数 . TSP 实例 的 二 进 制 输入 长 度 
是 的 凶 项 式 函 数 . 校 举 算 法 的 基本 计算 总 是 ” 的 阶乘 摧 数 , 比 指 
数 函 数 增加 的 速度 还 快 . 

我 们 对 实例 的 - 进 制 输 人 长 度 和 算法 的 基本 计算 总 次 数 是 粗 
略 估 计 的 ,一般 是 给 予 一 个 上 了 上限. 一 个 求解 实例 了 工 的 算法 的 基本 计 |- 
算 总 次 数 CC 同 实 例 了 的 计算 机 二 进 制 输入 长 度 4cT) 的 关系 常 
-用 符号 CD = 一 Gd 二 OCg (dt )) 表示 , 它 的 含义 是 :求解 实 
例 工 的 算法 的 基本 计算 总 次 数 C( 门 是 实例 输 人 长 度 二 站 的 一 个 
函数 ,这 个 郴 数 被 另 一 个 盟 数 g(z) 控制 , 即 存在 一 个 函数 gC) 和 

个 常数 e, 使 得 
CD) < ageE(D)， (1.13) 

(1. 13) 表示 算法 在 求解 实例 了 时 ,所 用 的 基本 计算 总 次 数 可 
以 被 一 个 函数 秆 gtd(z)) 控制 .ECz) 的 函数 特性 决定 了 基本 计算 
总 次 数 的 性 能 ， 

定 光 1.1 假设 问题 和 解决 该 问题 的 一 个 算法 已 经 给 定 , 若 
给 定 该 问题 的 一 个 实例 大 ,存在 允 项 式 函 数 gfz)* 使 得 (1.13) 成 
并 ,我们 称 该 算法 对 实例 I 是 多 项 式 时 间 算 法 ;车 窒 在 gCx) 为 多 
项 式 防 数 且 对 该 癌 题 任意 的 一 个 实例 了 ,都 有 (1. 13) 成 立 , 则 称 该 
算法 为 解决 该 问题 的 志 项 式 时 间 算 法 . 特别 对 优化 问题 , 当 一 -个 算 
法 为 求解 该 优化 间 题 最 优 解 的 多 环 式 时 间 算 法 , 则 称 为 该 优化 问 
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题 的 多 项 式 时 疝 最 优 算法 . 

为 了 方便 , 当 g(r) 为 指数 函数 时 , 称 相应 的 算法 是 指数 时 间 
等 法. 相 比较 而 言 , 随 着 变 基 的 增加 ,多 项 式 隔 数 增 长 的 速度 比 指 
数 蚌 数 增 长 的 速度 要 慢 得 多 ,因此 ,我 们 更 喜欢 多 项 式 函 数 . 例如 ， 
随 着 ”的 增加 ,天 (人 盖 0 的 整数 ) 的 瑞 长 速度 远 比 a"la 疡 1 为 实 
数 ) 增长 的 速度 慢 . 若 一 个 多 项 式 时 间 算 法 的 基本 计算 总 次 数 为 
工 二 2" ,而 另 一 个 非 针 项 式 时 间 算法 的 计算 次 数 为 工 , 二 2". 当 
nt 比较 小 的 时 候 , 多 项 式 时 间 算 法 的 优越 性 并 木 朋 显 , 如 当 n = 10 
时 ,7 一 107, 多 项 式 时 间 算 法 的 计算 次 数 是 非 多 项 式 时 间 算 
法 的 10 售 .但 当 w 一 2 时 ,Lf 二 27, 非 凶 项 式 时 间 算 法 的 计 
算 次 数 上 升 非常 快 , 是 多 项 式 时 间 算 法 的 计算 次 数 的 2 依 . 

由 上 面 的 讨论 看 出 ,在 实例 的 二 进 制 输 人 规模 增 大 时 ,多 项 式 
时 间 算 法 的 基本 计算 总 次 数 的 增加 速度 相对 较 慢 . 目前 习惯 将 算 
法 分 为 多 项 式 时 间 算 法 和 非 多 项 式 时 间 算 法 , 这 种 归 类 方法 主要 
考虑 的 是 = 增加 时 前 变化 趋势 . 重 述 一 个 观点 ,我 们 构造 算法 的 目 - 
的 是 能 够 解 类 问题 的 所有 实例 而 不 单单 其 问题 的 一 个 实例 . 根据 
这 个 现 点 ,再 结合 问题 ,实例 和 算法 ,形成 了 复杂 性 分 析 的 概念 . 

复 加 性 分 析 的 一 个 研究 方向 是 对 算法 进行 评价 . 对 于 解决 一 
个 问题 的 算法 ,如 何 评估 这 个 算法 的 性 能 ?复杂 性 分 析 是 评价 算法 
的 一 个 指标 . 复杂 性 分 析 是 通过 (1.13) 从 最 坏 实 例 的 条 件 下 ,; 确 
定 是 否 存在 多 项 式 函 数 g(x), 即 可 以 报 述 为 ,对 一 个 求解 问题 的 
算法 ,是 否 存 在 多 项 式 函 数 8(zr) 和 常数 ,使 得 对 问题 的 任意 一 
个 实例 了 .部 有 (1.13) 成 立 . 

以 线性 规划 中 的 单纯 形 算法 为 例 , 先 估 计 线 性 规划 任何 一 个 
实例 的 .二进制 输入 长 度 ， 

例 1.6 线性 规划 问题 (linear programming) 


mineT™x 
(LP) s.t, Ax=b 


TOER. 
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其 中 , e 为 了 维 列 向 七 , 4 为 mr Xn 短 阵 , 驴 为 mw 维 询 向 量 , 4,b， 
“各 分 最 为 整数 ,z 为 n 维 决 策 变 量 , 由 于 任何 一 个 非 负 整数 x 的 
输入 长 度 至 少 为 1 耳 不 超过 iogsz 十 1, (LP) 的 三 组 数据 c 一 《ea， 
cseo) 站 二 (a)mas8 二 (51, , 呈 5.) 7 的 二 进 制 输入 长 度 的 
下 十 限 分 别 是 下 列 区 间 的 左右 端点 


[max {xn, Yog, Ic;| } ， bp (logs lc,| 十 1) j， 
r=1 r=] 


[max (mn, >， Stogs la | } ， > Y， 《legzs ze， | 十 1 | 
i=] 1-1 


1 一 1 J=1 


[max {m, ylog， | 上 ， >» 〔《logz | 所 | 十 IT) |. 


这 二 组 数据 输入 长 度 浴 计 之 和 的 上 下 限 分 别 为 mx 十 w 十 十 
logs 疡 | 和 max{tman 十 mm 十 4,logs1P|} ,其 中 疡 为 45 和 e 中 所 有 
非 零 数 的 乘 秽 . 口 

单纯 形 算法 是 解决 线性 规划 问题 的 主要 算法 之 一 ,对 于 大 多 
数 实 例 , 它 的 计算 效果 非常 好 ;这 可 从 实际 工程 .管理 人 员 的 大 基 
实际 应 用 得 以 证 实 . 也 可 以 说 ,线性 规划 问题 的 很 多 实例 存在 多 项 
式 时 间 的 算法 ,但 也 存在 极端 的 情形 ,Kiee 和 Minty 在 文献 [3] 中 
争 出 下 面 这 样 -个 实例 


min 一 x, 
st. | 一 六 一 工 ， 
| 1 十 5 一 ]1， 
] . (1.14) 
元 有 本 Fy 一 0, 了 一 D134-* sy 
1 , 
志士 了 1 十 5 二 1， 7 = 230 Ny 
Tar 之 D, J 一 1 ,24 ,nN, 
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文献 [3] 中 证 明 用 单纯 算法 求解 线性 规划 (1.14), 其 迭代 步 
数 是 2 - 1. 出 于 实例 (1.14) 共有 2m 个 约束 和 和 3 个 变量 ,从 例 
1.5 对 实例 二 进 制 输入 大 小 的 估计 得 到 ,二 进 制 输入 大 小 90 了) 不 
超过 6m 十 24 十 3n 十 log:1z1,; 其 中 户 是 民 . 14) 中 所 有 非 零 系数 
的 滋 积 . 

由 此 回 管 ,对 线性 规划 的 单纯 形 算 法 ,不 存在 多 项 式 函数 
sz 和 常数 ,使 得 对 问题 的 任意 - -个 实例 1 都 有 (1.13) 成 立 . 
本 章 的 第 4 节 将 进一步 讨论 有 关 算 法 的 评价 方法 . 

复杂 性 分 析 的 另 一 个 研究 方向 是 对 组 合 优化 阿 题 好 类 . 可 以 
这 样 定 义 多 项 式 问题 . 

定义 14.2 对 于 给 定 的 一 个 优化 何 题 ,车 存在 一 个 求解 该 间 
题 最 优 解 的 算法 、- 一 个 多 项 式 函 数 g(x) 和 常数 a, 使 得 (1.13) 对 
给 定 优 化 向 题 的 任何 一 个 实例 成 立 , 则 称 给 定 的 优化 问题 是 多 项 
趟 时 间 可 和 解 问题 ,或 简称 多 项 式 问题 ,所 有 多 项 式 问题 集 记 为 
Pipolynomial). 

还 以 例 1.6 的 线性 规划 问题 为 例 , 上 面 已 经 得 到 单纯 形 算法 
不 是 线性 规划 问题 的 多 项 式 时 间 算 法 ,但 这 并 不 能 说 明 线 性 规划 
问题 不 属于 多 项 式 问题 .Khachian 在 文献 [4] 中 成 功 地 构造 了 椭 
球 算法 并 证 明了 其 算法 是 线性 规划 问题 的 多 项 式 时 间 算 法 . 因此 ， 
线性 规划 问题 是 多 项 式 问 题 . 

并 不是 所 有 的 组 合 优化 问题 都 找到 了 求解 最 优 解 的 多 项 式 时 
间 算 法 .也 就 是 说 ,还 不 能 肯定 一 些 组 合 优化 问题 是 否 属 于 P. 经 
过 玫 代 数学 家 的 努力 ,他们 研究 .整理 了 一 类 难以 求解 的 组 合 最 优 
化 名 题 ,迄今 为 下 ,这 些 问题 还 没有 一 个 有 能 求 得 最 撼 解 的 多 项 式 
时 间 算 法 . 这 一 类 组 合 最 优化 问题 好 为 所 谓 的 NP-hard. 受 人 类 认 
识 能 力 的 限制 ,目前 人 人们 只 能 假设 这 一 类 难 解 的 组 合 最 优化 问题 
不 存在 求解 最 优 解 的 多 项 式 时 间 算 法 . 本 章 第 1 节 中 例 1.1. 例 
1.2. 例 1.3. 例 1.4 和 例 1.5 的 组 合 最 优化 问题 都 属于 这 类 难 解 的 
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问 题 . 有 关 复 杂 性 的 一 些 定义 和 一 个 问题 复杂 性 揭 确 定 将 在 本 章 
的 第 5 节 进 一 步 讨 论 . 感 兴趣 的 读者 可 以 继续 阅读 这 一 闻 或 参考 
文献 [52. 

正 因 为 一 些 组 合 最 优化 问题 还 没有 找到 求 最 优 解 的 多 项 式 时 
癌 算 法 ,而 这 些 组 合 最 优化 问题 叉 有 非常 强 的 实际 应 用 背景 ,人 们 
才 不 得 不 尝试 用 一 些 并 不 一 定 可 以 求解 到 最 优 解 的 算法 ,在 此 称 
为 启发 式 算法 ,来 求解 组 合 最 优化 问题 . 


1.3 邻 域 概念 


在 忠 离 空间 中 ,通常 的 邻 域 定义 是 以 一 点 为 中 心 的 一 个 圆 . 光 
请 攻 数 极 值 的 数值 求解 中 , 邻 域 是 一 个 非常 重要 的 概念 ,函数 的 下 
降 或 上 升 都 是 在 一 点 的 邻 域 中 寻求 变化 方向 . 在 组 全 优化 中 ,有 距离 
的 概念 通常 不 再 适用 ,但 是 在 二 点 附近 搜索 另 一 个 下 降 的 点 仍然 
是 组 合 优化 数值 求解 的 基本 思想 . 因此 ,需要 重新 定义 邻 域 的 
概念 . 

定义 1.3 对 于 组 合 优 化 问题 (DD,F, 方 ,DD 上 的 一 个 映射 ， 

N: SED>N(S)E 2 

称 为 一 个 分 域 上 映射, 其 中 22 表示 五 的 所 有 子 集 组 成 的 集合 ,NS) 
称 为 5S 的 邻 域 ,S' E N(S) 称 为 3 的-- 个 邻居 . 

例 1.7 钢 1.2 已 给 出 TSP 的 一 种 数学 模型 ,由 模型 DD = 
{x|x E40,1}" m0), 可 以 定义 它 的 一 种 邻 域 汶 : 


No yy -r= Dy lh €eD), 
bf 


为 一 个 正 整 数 . 
这 个 邻 域 定义 使 得 x 最 多 有 让 个 位 置 的 信和 可 以 发 生变 化 ,x 的 
邻居 有 Chan 十 Cae) 十 … 十 Cs 1 个 ， 口 


例 1. 和 3 TSP 问题 解 的 另 一 种 表示 法 为 有 = 二 下 二 {二 {11 st2 
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1 2- 的 一 个 排列 |. 文献 [中 定 交 它 的 
邻 域 映 射 为 2-opt, 即 S 中 的 两 个 元 素 进 行 对 换 ，w《(3) 中共 包 合 5 
的 Ci 个 邻居 . 如 四 个 城市 的 TSP 问题 , 当 5 一 (1,2,3,4) 时， 
NCS) = {2,11314), (3,2,1,54), C4,2,3,1), (1],3,2,4), (1 ,4, 
3,2), {1,2,4,3)}. | 

类 做 2-opt 的 定义 ,可 以 推广 定义 大 -opt 二 主 2); 它 的 分 域 映 
射 是 对 5S 中 的 上 个 元 素 按 一 定 的 规则 互 换 . 

例 1.9 0-1 背包 问题 . 该 问题 解 的 另 - -种 表示 法 为 P= {Gi， 
fa st 是 1 2 和 的 一 个 排列 }. (ra ,i2, si) 表示 
装 包 的 排列 顺序 . 通过 排列 顺序 以 容量 约束 判别 装 进 包 的 物品 及 
目标 值 , 由 该 法 定义 的 邻 域 可 以 同上 例 有 相同 的 结构 . [DD 

邻 域 的 构造 依赖 于 问题 决策 变 基 的 表示 , 邻 碟 的 缚 枸 在 现代 
优化 算法 中 起 很 重要 的 作用 ,这 一 点 将 在 以 后 的 各 章节 中 看 出 .有 
邻 城 的 定义 后 ,类 似 连 续 画 数 ,可 以 定义 局 部 .全 局 最 优 概 念 . 

定义 1.4 车 s" 满足 

f(s”) 守 ( 宇 )f(5) ,其 中 ,s EN(s*) 门下， 
则 称 s" 为 在 下 上 的 局 部 (local) 最 小 (最 大 ) 解 . 车 
f(s) A Fs),s EF, 
则 称 s" 为 在 下 上 的 全 局 (global) 最 小 (最 大 > 解 . 

就 - - 维 变量 x 为 例 , 定 义 城 为 区 间 [1,10] 中 的 整数 点 , 像 图 
1. 1 一样 ,如 果 采 用 如 下 邻 域 定 交 

KE) 一 人 Er 一 到 | 委 1) 
目标 值 如 图 1.1; 则 x = 二 9 为 上 的 全 局 最 优 (最 小 } 点 ,z= 二 5 为 了 的 
局 部 最 优 5 最 小 ) 点 ,而 工 一 4 点 苑 不 是 了 的 局 部 最 大 也 不 是 局 部 
最 小 ， 

在 求解 最 小 目标 值 点 时 ,传统 的 优化 算法 是 以 一 个 初始 点 出 
发 ,在 邻 城 中 寻找 目标 值 更 小 的 点 ,最 后 达到 一 个 无 法 百 下 降 的 
点 如 图 1.1, 若 以 一 4 为 起 点 按 传 统 的 优化 方法 搜索 量 小 值 点 ， 
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了 CE 


-一 上 
OT I 7 10 


图 1.1 局 部 最 优 示 意图 


则 搜索 到 x 一 5 和 而 停止 ,搜索 到 局 部 最 优 ( 最 小 ) 点 .这 种 方法 可 能 
造 成 最 终 解 的 非 全 局 最 优 性 . 现代 优化 算法 所 要 解决 的 -~- 个 问题 
就 是 求解 全 局 最 优 解 . 


1.4 启发 式 算法 


局 发 式 算 法 (heuristic algorithm) 是 相对 于 最 优 算法 提出 的 . 
一 个 间 题 的 最 优 算法 求 得 该 问题 每 个 实例 的 最 优 和 解 . 启发 式 算法 
可 以 这 样 定义 ， 

一 个 基于 直观 或 经 验 构 造 的 算法 ,在 可 接受 的 花费 ( 指 计算 时 
间 .占用 空间 等 ) 下 给 出 待 解 决 组 合 优 化 问题 每 一 个 实例 的 一 个 
可 行 解 , 该 可 行 解 与 最 优 解 的 入 离 程度 不 一 定 事先 可 以 预计 ， 

另 - -种 定义 为 ;启发 式 算法 是 一 种 技术 . 这 种 技术 使 得 在 可 接 
受 的 计算 费用 内 去 寻找 最 好 的 解 ,但 不 一 定 能 保证 所 得 解 的 可 行 
性 和 最 优 性 ,甚至 在 多 数 情 况 下 ,无 法 站 述 所 得 解 同 最 优 解 的 近似 
程度 (参考 文献 [7]). 

在 基 些 情况 下 ,特别 是 实际 问题 中 ,最 优 算 法 的 计算 时 间 使 人 
无 法 忍受 或 因 问 题 的 难度 使 其 计算 时 间 随 问题 规模 的 增加 以 指数 
速度 增加 ,如 表 1. 1 列举 的 TSP 挛 化 情况 ,此 时 只 能 通过 启发 式 算 
法 求 得 问题 的 一 个 可 行 解 . 启发 式 方法 是 对 富 发 式 算 法 的 综合 
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应 用 . 

上 述 启 发 式 算 法 的 两 个 定义 中 ,一 个 共同 的 特点 是 不 考虑 算 
法 所 得 解 与 最 优 解 的 偏离 程度 . 如 果 采 用 分 析 最 坏 情 况 的 误差 界 
腿 的 概念 来 评价 启发 式 算法 ; 则 可 以 将 近似 算法 定义 如 下 . 

定义 1.5 设 4 蚌 - -个 问题 . 记 问 题 盖 的 任何 -- 个 实例 了 的 最 
优 解 和 启发 式 算 法 妃 解 的 日 标 值 分别 为 sorr(Cz 和 zn(7), 于 是 对 
于 某 个 E 芋 0, 称 如 是 44 的 se 近 估算 落 (e-approximation algorithm) 
当 且 仅 当 

jz -一 zoprtDD | Selzopr(D)|, YIEAd. 

上 面 的 定义 给 出 启发 式 算法 和 近似 算法 两 个 概念 的 联系 和 
区 别 . 启发 式 算法 福 念 定义 的 算法 集合 包含 了 近 信 算法 概念 定义 
的 算法 集合 , 近似 算法 强调 给 出 算法 最 坏人 情况 的 误差 界限 ,而 启发 
式 算法 不 需 考 虚 偏 着 程度 . 由 于 很 多 组 合 优化 问题 算法 的 最 坏 情 
党 误差 界 佑 计 需 要 很 强 的 数学 基础 和 较 强 的 技巧 ,甚至 - 些 问题 
很 礁 或 无 法 给 出 最 坏 和 情况 误 差 界 ,而 实际 间 题 又 迫切 需要 求解 的 
方法 ,因此 ,只 能 通过 启发 式 算法 解决 问题 . 

早 在 40 年代 末 期 ,由 于 实际 问题 的 需要 , 人们 已 提出 一 些 解 
决 实 际 问题 的 锯 捷 有 效 的 局 发 式 算法 ,有 代表 性 的 工作 是 1948 年 
Polya 的 著作 [8j. 随 着 60- 一 70 年 伐 对 数学 模型 及 最 优 解 算法 的 重 
钢 ,这 些 算法 被 称 为 “快速 与 丑陋 (quick and dirty)” 方 法 , 随 着 70 
年 代 算 法 复杂 性 理论 的 完善 ,我 们 不 再 强调 一 定 要 求 到 最 优 解 , 因 
此 促使 80 年 代 初 兴起 的 现代 优化 算法 在 今天 得 到 了 巨大 的 发 展 ， 

让 我 们 通过 下 而 的 例子 对 启发 式 算法 有 一 定 的 了 解 . 

全 1.10 背包 问题 的 贪 李 算法 (greedy algorithm) 

对 例 1.1 的 背包 问题 可 以 构造 下 面 的 俩 要 算 法 


STEP1 对 物品 以 全 从 大 到 小 排列 ,不 切 把 排列 记 成 11,2,，…， 
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nl, 上 := 1s 
由 一] 
STEP2 车 dz 十 di 扩 5,, 则 x 二 1; 耕 则 ,zi 一 0.k: 王 
[| 


十 1]; 
当下 二 nn 十 1 时 ,停止 ;否则 ,重复 STEP2. 


Crzizzy ra) 为 贷 整 算法 所 得 解 .单位 体积 价值 比 坎 大 越 先 
装 色 是 便 禁 算法 的 原则 . 口 

这 样 的 算法 非常 直观 ,非常 容易 操作 . 

例 1;11 简单 的 邻 域 搜索 (local search) 算法 

给 定 组 合 优化 间 题 ,假设 其 邻 域 结构 已 确定 . 设 3 为 解 集合 , 太 
为 5 上 的 费用 函数 ,w 为 邻 域 结 构 . 算法 为 ; 


STEP1 芷 选 一 个 初始 解 5, € 5; 

STEP2 在 sn) 中 按 荣 一 规则 选 一 5; 若 (9) < f(s5o); 则 5 
:二 8; 否则 ,NCs80) :一 go) 一 8s; 车 NN(s0) 二 他, 停 ] 上 ; 
否则 ,返回 STEP2. 


简单 的 邻 域 搜索 从 任何 一 点 出 发 ,达到 -- 个 局 部 最 优 值 点 . 从 
算法 中 可 以 看 出 ,算法 停止 时 得 到 点 的 性 质 依赖 算法 初始 解 的 先 
取 , 邻 域 的 结构 和 邻 域 选 点 的 规则 , 一 个 直观 的 看 法 是 ;只 要 选 好 
初始 点 ;就 一 定 可 以 求 到 最 优 解 . 对 NP-hard 的 组 合 最 优化 问题 ， 
确定 这 样 的 初始 点 是 非常 困难 的 ,如 非 对 称 TSP 问题 , 若 固定 - 
个 城市 为 起 终点 ,共有 (x 一 1)1 个 解 ,也 就 是 有 (= 一 1)1 个 初始 
点 . 如 何 选 初始 点 和 如 何 跳出 局 部 最 优 值 点 以 达 最 优点 是 本 书后 
续 部 分 的 一 个 主要 内 容 . 口 

启发 式 算法 能 够 迅速 发 展 是 因为 它 有 以 下 长 处 ，: 

(1) 数学 模型 本 身 是 实际 问题 的 简化 ,或 包 或 少 地 忽略 一些 
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因素 ;数据 采集 具有 不 精确 性 ;参数 舍 计 具有 不 准确 性 ;以 上 因素 
可 能 使 最 仿 算 法 所 得 解 比 启发 式 算法 所 得 解 产生 更 大 误差 . 

C2) 有 些 难 的 组 合 优 化 问题 可 能 还 没有 找到 最 优 算 法 ,即使 
存在 ;由 算法 复杂 性 理论 ,得 知 它们 的 计算 时 间 是 无 法 接受 或 不 实 
际 的 . 

(3) 一 些 启 发 式 算 法 可 以 用 在 最 优 算 法 中 ,如 在 分 支 定 界 算 
法 中 ,可 以 用 启发 式 算法 估 界 . 

(42 简单 易 行 : 比 较真 观 : 易 被 使 用 者 接受 . 

(5》 速度 快 ,在 适时 管理 中 非常 重要 ， 

(6) 多 数 情况 下 ,程序 简单 ,因此 易于 修改 . 

虽说 有 诸多 好 处 ,但 它 有 其 短处 ,这 些 不 是 往往 成 为 争论 的 

(1) 不 能 保证 求 得 景 优 解 . 

(2) 表现 不 稳定 , 启发 式 算法 在 局 一 问题 的 不 同 实例 计算 中 
会 有 不 同 的 效果 . 有 些 解 很 好 ,而 有 些 则 很 差 . 在 实际 应 用 中 ,这 种 
不 稳定 性 造成 计算 结果 不 可 信 ， 

(3) 算法 的 好 坏 依 赖 于 实际 问题 ,经验 和 设计 者 的 技术 ,这 一 
点 很 难 总 结 规律 ,同时 使 不 同 算法 之 间 难 以 比较 . 


1.4.1 局 发 式 算 法 的 分 类 


本 节 对 启发 式 算法 进行 简单 的 分 类 . 

1. 一 步 算 法 

该 算法 的 特点 是 :不 在 两 个 可 行 解 之 间 选 择 , 在 未 终止 的 选民 
中 ,有 可 能 不 是 一 个 可 行 解 , 算 法 结束 时 得 到 一 个 可 行 解 . 

一 步 算 法 的 一 个 典型 实例 是 背包 问题 的 贪 整 算法 . 每 一 步 迄 
民选 一 物品 入 包 , 直 到 无 法 再 装 . 该 算法 没有 在 两 个 可 行 解 之 间 比 
较 选 择 , 算 法 结束 时 得 到 一 可 行 解 . 

再 以 TSP 中 的 路 线 搜索 算法 来 解释 上 面 的 归 类 . 
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例 112 TSP 的 有 路线 搜 索 算法 为 ; 


STEP1 P= {ll}; N= {2 ,RR);t Oo 1; 

STFEP2 从 idili 到 达 记 但 7 态 卫 ; 选 最 小 的 人 年 as ,对 应 城市 为 
io: 置 了 二 PU {io), 车 了 二 全;24 yn1 ,停止 ,否则 i 一 
zi 重复 STEP2， 


该 算法 的 特征 是 每 - 步 选 择 一 个 城市 ,算法 没 结束 前 没有 得 
到 可 行 解 . 算法 结束 时 ,可 行 解 得 到 . 同样 ,没有 在 两 个 可 行 解 之 间 
选择 . 口 

2. 改进 算法 

改进 算法 的 选民 过 程 是 从 一 个 可 行 解 到 另 一 个 可 行 解 ,通常 
道 过 两 个 解 的 比较 而 选择 好 的 解 , 进 而 作为 新 的 起 点 进行 新 的 先 
代 , 直 到 满足 一 定 的 要 求 为 止 . 因此 ,也 可 以 称 之 为 送 代 算法 . 如 例 
1.11 的 局 部 搜索 算法 . 再 如 TSP 中 简单 的 2-opt 方法 [6]; 也 是 改 
进 算 法 的 一 种 . 

例 113 四 个 城市 :1,2,3,4} 的 TSP 问 题 ,两 个 城市 :和 j 之 
间 的 距离 好 构成 的 距离 矩阵 为 


0 10 15 


le) 一 


15 

设 初始 点 为 :se 二 (1,2,3,4), 刚 
f(s) 一 Ga 十 帮 十 cs 十 dr 一 5 十 ?十 6 十 15 一 33. 

5 的 2-opt 邻 域 是 对 m 的 任 两 个 元 素 对 换 , 如 时 固定 第 一 个 城市 1， 

即 Rs 一 (1,3,2,4?，(1,4,3,2)，(1.2,4.3)} ,简单 的 2-opt 

方法 是 比较 邻 域 中 的 所 有 点 . 选 出 最 好 解 . 比较 可 知 N (so) 中 最 好 

的 解 为 名 二 (1,2,4,3), 目 标 值 为 fs,) 一 29. 下 一 次 选民 是 以 5 
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为 起点 ,重复 以 上 的 计算 过 程 ,直到 日 标 值 无 法 改进 为 止 . 口 ] 

3. 数学 规划 算法 

数学 规划 算法 主要 指 用 线性 规划 的 方法 求解 组 合 优化 问题 ， 
其 中 包括 一 些 启 发 式 规则 .这 一 类 方法 中 ,典型 的 是 线性 规划 及 对 
偶 理 论 在 网 络 流 中 的 应 用 ,产生 标号 算 活 等 一 系列 最 优 算法 ,参考 
文献 [9,10]. 其 次 是 基于 整数 规划 分 支 定 界 的 启发 式 算法 ,只 搜索 

- 些 特 殊 分 支 , 或 是 基于 整数 规划 的 割 平面 法 ,产生 的 考虑 部 分 割 

平面 的 算法 . 

4. 解 空间 松弛 算法 

-类 方法 是 线性 规划 松弛 . 这 类 方法 的 主要 步骤 是 先 将 整数 
规划 问题 他 


z 一 minery 
CIP) fs 
TrE DL” 
松弛 为 线性 规划 LP 
zr 一 tmine™ 
LP) re 
之 
通过 LP 可 以 得 到 IP 的 一 个 下 界 sss,LP 是 密 项 式 可 解 问题 ,但 
LP 的 解 不 一 定 是 卫 的 可 行 解 的 . 于是, 解 空间 松弛 算法 的 第 二 步 
是 如 和 何 将 LP 的 解 转 化 为 IP 的 可 行 解 ,如 四 售 五 人 法 , 取 上 整数 、 
下 整数 等 . 
拉 格 并 日 (Lagrange) 松弛 法 . 控 格 朗 日 松弛 法 主要 用 于 求解 
下 面 这 样 的 组 合 最 优化 问题 IP 


z 一 ninacIX (1. 15) 
8.t, 六 {1.16) 
六 《1.17》 


2P0rEC 六， 《1. 18) 
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如 果 没 有 (1.17) 这 些 约束 ,IP 问题 是 -个 多 项 式 时 间 间 题 , 有 
(1.17) 这些 约 束 ,IP 为 NP-hard 问题 . 通常 称 (1. 17) 为 难 约束 . 这 
类 方法 的 主要 步骤 分 三 个 阶段 .第 一 阶段 是 先 将 整数 规划 问题 卫 
松弛 为 拉 格 朗 日 松弛 问题 LR 


zigCAY 一 mineTy 十 ATB, - Ax) 《1. 19) 
st 山寺 而， (1. 20) 
AO0xrED, C1, 21) 


C1.17) 的 存在 使 得 问题 1P 成 为 NP-hard 问题 .松弛 (1.17) 约 
东 后 ,IP 成 为 一 个 易 解 的 问题 . (1.17) 松弛 后 ,IP 的 解 空间 扩大 ， 
于 是 将 (1.17) 以 罚 孙 数 的 形式 在 LR 的 (1.19) 体现 ,不 至 于 得 到 
的 解 使 (1.17) 的 不 可 行 性 计 太 , 在 这 一 阶段 中 ,提供 了 IP 的 一 个 
下 界 zix CA). 

第 二 阶段 是 求 IP 对 偶 癌 题 的 解 , 即 


Zin = maxzLe( A) 一 max min ox 十 和 [人 (而 — Asr). 
A Md I 


(1. 22) 

通过 第 二 阶段 的 求解 ,得 到 (1. 22) 的 解 和 #4, 且 有 4% 半 zip 实 
xigftA). 从 理论 上 可 以 讨论 z 同 zin、z 同 za(2)、zig (4) 辐 zio 等 的 
差距 ,这 些 内 容 将 在 第 6 章 一 一 拉 格 朗 日 检 弛 算法 中 讨论 . 

第 三 个 阶段 将 第 二 阶段 所 得 解 的 可 行 化 ,使 之 成 为 的 可 行 
解 . 可 行 北 的 方法 往往 依赖 于 问题 本 身 , 这 些 内 容 了 世 将 在 第 6 章 
讨论 . 

5. 现代 优化 算法 

现代 忧 化 算法 是 80 年 代 初 兴起 的 启发 式 算法 . 这 些 算 法 包括 
禁忌 搜索 (tabu search) ,模拟 退火 (simulated annealing) ,遗传 算 
法 (genetic algorithms), 人工 神经 网 络 (neural networks). 它们 主 
要 用 主 解决 大 量 的 实际 应 用 问题 . 目前 ,这些 算法 在 理论 和 实际 应 
用 方面 都 得 到 了 较 大 的 发 展 . 无 论 这 些 算法 是 怎样 产生 的 ,它们 有 
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一 个 共同 的 目标 一 一 求 NP-hard 组 合 优化 问题 的 全 局 最 优 解 . 员 
说 有 这 样 的 日 标 ,但 NP-hard 理论 限制 它们 只 能 以 启发 式 的 算法 
去 求解 实际 问题 . 本 书 将 以 这 几 类 算法 为 重点 ,从 基本 理论 .应 用 
技术 和 应 用 实例 等 方面 讲解 . 

6， 其 他 方法 

启发 式 方法 包 会 的 类 型 很 多 ,有 些 方法 是 根据 实际 问题 而 产 
生 . 如 解 空间 分 解 . 解 空间 的 限制 等 . 另 一 类 算法 是 集成 算法 ,这些 
算法 是 诸多 局 发 式 算 法 的 合成 . 


1.4.2 户 发 式 算法 的 性 能 分 析 


虽说 启发 式 算法 有 诸 包 做 点 ,但 它 的 一 个 缺陷 是 天 法 保证 得 
到 最 优 解 ,于 是 ,对 算法 的 评价 显得 尤为 重要 .一 个 好 的 启发 式 算 
法 可 以 使 其 解 同 最 优 解 尽 可 能 地 接近 ,同时 保证 才 较 好 的 稳定 性 . 
评 价 启 发 式 算法 的 性 能 有 不 同 的 方法 ,主要 分 为 对 算法 计算 复杂 
性 的 分 析 和 对 算法 计算 效能 的 分 析 . 下 面 公 简单 介绍 常用 的 方法 . 

1. 最 坏 情形 分 析 

最 坏 情 形 分 析 (worst case analysis) 可 以 考虑 计算 复杂 性 和 
计算 解 的 效果 两 个 方面 . 最 坏 情 形 计 算 复 杂 性 分 析 关 注 算法 基本 
运 算 总 次 数 启 实例 计算 机 二 进 制 输入 人 长度 立 间 的 美 系 , 从 最 奈 实 
例 的 角度 来 研究 算法 的 计算 时 间 复 杂 性 . 这 一 部 分 内 容 已 在 第 2 
节 讨 论 , 在 这 里 不 再 讨论 . 通过 下 面 的 一 个 例子 了 解 对 一 些 比 较 简 
单 的 启发 式 算法 是 如 何 佑 计 计 算 时 间 的 复 厅 性 . 

例 1.14 估计 例 1.10 的 贫 禁 算法 的 计算 时 间 复 杂 性 . 


它 的 STEP1 需要 n 个 除法 和 将 w# 个 比值 {全 | 二 1,2,… nl 
从 大 到 小 排序 .STEP2 中 的 每 一 个 循环 最 多 需要 上 一 [个 乘法 


个 加法.I 个 比较 和 1 个 赋值 (zx = 1, 等 价 一 个 加 法 ), 全 部 循环 最 
多用 n(n 十 1) 十 2n. 考 虚 每 一 个 循环 和 STEP1 的 所 有 基本 计算 次 
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数 ,该 算 法 的 计算 时 间 复 杂 性 为 On*). 对 01 背包 问题 的 任何 实 
例 , 这 个 合计 都 是 适 攻 的 ;因而 ,这 样 的 估计 是 从 最 坏 情 浴 分 析 得 
到 的 结果 . 口 j 

从 她 址 情形 分 析 米 评价 一 个 算法 的 计算 效果 时 ,其 评价 的 指 
标 是 计算 解 的 目标 值 疝 最 优 目标 值 的 差距. 这 个 差距 越 小 说 明 算 
法 越 好 . 这 样 的 评价 只 对 启发 式 算法 有 效 , 因 为 最 优 算法 没有 这 样 
的 偏差 . 

记 一 个 实例 工 的 最 优 目 标 值 为 zopr C1 了 7), 启发 式 算法 瑟 所 得 的 
目标 值 为 zn(). 车 优化 问题 的 目标 是 极 大 目标 函数 ,对 优化 问题 
的 任意 实例 了 ,评价 函数 为 

d+ Aorr tt) SS zh(d) SE ornr li), (1. 23) 
其 中 ,在 (1.23) 中 ,dz 过 zopr(D) ,a 世 1, 对 给 定 的 问题 和 启发 式 
算法 本 ,我 们 对 问题 中 任意 实例 了 求 满足 1, 23) 式 的 ea 越 接近 1 
说 明 构 造 的 启发 式 算 法 越 好 .4 则 是 一 个 与 实例 I 无关 的 偏差 值 . 
人 在 常规 的 研究 中 ,要 给 出 “的 值 并 设法 验证 这 个 界 是 否 为 紧 界 . 所 
谓 紧 界 是 存在 一 个 实例 使 .23) 左边 的 等 号 成 立 . 

当 优 化 问题 的 日 标 是 极 小 日 标 函 数 时 ,对 任意 实例 工 ,评价 函 

数 为 

QazopT tT) + a zu) 六 wopr(T) (1. 24) 
其 中 ,在 (1.24) 中 ,ia| < zoprd),d 是 -- 个 与 7 无 关 的 偏差 秆 ,a 
之 1. 同 (1.23) 类 位 ,a 越 接近 1 说 明 构 造 的 启发 式 算 法 越 好 ,有 时 
不 易 确定 和 验证 a 是 紧 界 ,与 其 接近 的 上 方法 是 确定 新 近 最 坏 界 , 它 
的 定义 为 


和 由 民 (五 ) = lim sup {Ei |zoprt tT) 2 &}. (1. 25) 


se 
通过 下 面 的 简单 例子 说明 最 坏 分 析 方法 . 
例 1.15 例 1.10 已 给 出 0-1 背包 问题 的 仿 殖 算法 , 记 为 G 算 
法 . 用 最 坏 情 形 分 析 该 算法 ,可 以 构造 这 样 一 个 例子 了 :有 两 个 物 
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总 :ec 二 | 十 syai 一 ] sco 一 下, 一 天 一 天 人 为 充分 小 的 正 数 ， 
用 例 i. 120 的 算法 得 到 zz 一 1,xs 二 0;,; 则 zo6tD) 二 1 十 #1 而 xopr tT) 
二 KK. 于是; 随 着 容积 天 的 增加 ,有 


zoll) 1+e 
zorrtl} KEK 


任何 一 个 启发 式 算 法 ,最 坏 的 情形 基 一 个 物品 也 设 有 装 ， 
(1.26) 说 明 0-1 背包 问题 的 贪 禁 算法 在 最 坏 情况 分 析 下 非常 不 


好 , 它 的 新 进 效 果 -ze4eA -= 0, 天 一 十 co 表示 包 中 几乎 没有 装 任 
DPT 


何 物品 . 口 
同样 用 以 上 的 贪 歼 算法 ,应 用 到 一 般 的 背包 问题 , 它 的 效果 则 
不 一 样 . 
例 1.16 一 般 背 包 问题 


> 站， 丽 一 十 co， (1. 26) 


zorr(D 一 max Dex, 


jel 


Ss. t. Daa; 6, 


z 次 0 整数 ,; = 2 
一 般 背 包 问 题 不 同 于 0-1 背包 澡 题 是 一 种 物品 有 无 限 多 个 ， 


而 且 可 以 装 多 个 .不妨 设 关 之 时 之 … 学 全 ,用 例 1.10 的 贫 林 算 


法 ,明显 的 结论 是 一 | 之 |,x: 一 … 一 z= 0 是 一 个 可 行 解 ,其 
中 | x 捷 示 不 超过 * 的 最 大 整数 . 所 以 ， 
zo CD) >a| 和 |. (1. 27) 


当 对 模型 的 决策 变量 线性 松弛 时 ,一 般 背 包 问 题 成 为 线性 规 
划 问题 . 天线 人 性 规划 的 最 优 解 在 极点 达到 ,而 模型 仅 有 容量 约束 ， 
由 线 镍 规划 理论 ， 
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zopT 1) Emax {cy 之 上 一 1 2 se 二 《1.28)》 
1 1 
比较 {1.27) 和 (1. 28) 得 


四 5 
> 
它 ] 


tl 


所 以 ,2zeCD) 学 zorr(D ia 一 本 .下 面 说 明 w 一 六 是 渐 近 紧 界 . 当 
Kk 


中 二 下 十 38， 一 太一 分 十 6 一 分， 
E>0,p=KkK 2 

时 , 贪 禁 算法 G 得 到 的 解 是 : 装 入 一 个 第 一 类 物品 , 则 zc(7) 一 天 

十 3e, 最 优 解 是 装 两 个 第 二 类 物品 ,zoprt7) 二 2 天 ,所 以 ， 


i Zu!) = lim 
sopT = ZopT tT) gm 2KK 2 


为 浙 近 紧 界 ， 是 

2. 概率 分 析 

最 坏 情 形 分 析 是 以 最 坏 的 实例 来 评价 一 个 算法 或 其 解 ,这 样 
免不了 只 因 一 个 实例 而 影响 对 一 个 算法 或 其 解 的 总 体 评 价 . 从 另 
一 个 方面 讲 ,应 该 从 总 体 来 评价 算法 ,概率 方法 则 是 从 理论 上 考虑 
的 . 对 一 个 算法 同样 可 以 从 算法 的 计算 时 间 复 杂 性 和 计算 解 的 效 
果 两 个 方 而 进行 概率 分 析 . 无 论 进行 那 一 个 方面 的 分 析 ,都 假设 实 
例 的 数据 服从 一 定 的 概率 分 布 . 在 这 个 数据 概率 分 布 的 假设 下 , 研 
究 其 算法 或 解 的 平均 效果 . 

概率 方法 在 评价 算法 方面 的 一 个 成 功 应 用 是 对 线性 规划 单纯 
形 法 的 评价 .Kiee 和 Minty 在 文献 [3] 中 证 明了 线性 规划 的 单纯 
形 法 不 是 多 项 式 时 间 的 ,其 构造 的 实例 为 第 2 节 中 的 (1. 14). 用 概 
率 分 析 方 法 研究 线性 规划 问题 的 一 个 代表 性 工作 是 Borgwardt0 
研究 线性 规划 问题 


二 
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maxe'x 
mn 一 及 ”， 
st Arce 共 中 ,4 ER e iE pt 如 
所 得 结果 .文献 [11j 中 假设 规划 的 输入 数据 ec ,4 4，… 4 是 六" 
中 具有 球 而 对 称 测 度 ,得 到 如 下 结论 : 当 输 入 数据 在 单位 球面 服 


夫 均 人 匀 分 布 , 且 兽 充分 大 时 ,其 选 代 次 数 的 渐 近 上 下 界 分 别 为 


na 1 和 HE D7 于 是 当 nO0,m 1 0 时 ,12 一 写 < 
当 #m> 100 < 1 和 时, 天 1.]5. 此 时 ,单纯 形 算法 的 平均 
选 代 次 数 为 2 一 到) 这 说 明 单纯 形 算法 的 平均 计算 效果 是 较 


好 的 . 

概率 分 析 上 方法 是 一 种 理论 分 析 方 落 , 它 需要 对 问题 本 身 有 较 
深入 的 理解 ,并 且 掌 担 概 率 模型 的 建立 和 概率 理论 .最 坏 情 形 分 析 
和 概率 分 析 方 法 的 共同 特点 是 :用 理论 方法 分 析 算 法 同 最 优 解 之 
间 的 误差 界 ,要 求 有 较 晶 和 的 数学 基础 . 

3. 大 规模 计算 分 析 

前 面 两 种 分 析 方 法 都 是 理论 分 析 方 法 ,到 求 有 很 晶 鲍 数学 基 
融和 推 儿 能 力 . 正 因为 如 此 ,目前 研究 者 只 对 一 些 特殊 和 简单 的 问 
题 采 用 上 面 两 种 理论 分 析 方 法 . 实际 中 大量 的 组 合 优化 问题 是 采 
用 大 规 横 计算 分 析 方 法 .简单 地 说 ,大 规模 计算 分 析 就 是 通过 大 量 
的 实例 计算 ,评价 算法 的 计算 效果 . 算法 的 计算 效果 分 成 两 个 方 
面 :一 方面 是 算法 的 计算 复杂 性 , 它 的 效果 通过 计算 机 的 中 央 好 理 
器 (CPU) 的 计算 时 间 表 涯 ; 另 一 个 方面 是 计算 解 的 性 能 , 它 通过 
计算 停止 时 输出 的 解 表现 ， 

大 规模 计算 分 析 可 对 一 个 算法 进行 评 八 . 对 一 个 算法 进行 评 
钦 时 , 它 的 计算 时 间 效 困 往 往 通 过 目前 的 计算 机 设备 能 耕 承 受 . 用 
户 能 否 接 受 现 有 的 计算 时 间 来 衡量 . 对 它 的 计算 解 进 行 评价 时 ,一 
个 简单 的 要 求 是 用 户 是 否 满意 ,更 深 一 步 需 要 知道 问题 的 最 优 解 
或 问题 的 - -个 下 界 ( 假 设 目 标 为 最 小 ), 这 时 ,可 以 通过 数据 的 计算 
比较 - -个 算法 的 计算 效果 . 
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大 规模 计算 分 析 可 对 多 个 算法 进行 评价 ,比较 分 析 不 同 算 潜 
的 效果 .通过 大 量 数据 的 计算 ,根据 各 个 算法 的 计算 结果 ,采用 莘 
单 或 统计 的 方法 比较 相同 算法 的 性 能 . 这 种 比较 不 需要 已 知 问题 
的 最 优 解 或 上 下 界 . 

在 大 规模 数据 计算 分 析 过 程 中 ,有 以 下 需要 注意 的 因素 . 

第 一 个 因素 是 数据 的 产生 . 对 实际 应 用 问题 ,本 身 存在 大 基 的 
实际 数据 ,可 以 用 这 些 数 据 作 为 测试 对 象 . 但 需要 注意 的 是 数据 的 
偏颇 性 . 因为 实际 数据 往往 在 茶 一 个 限定 范围 内 变化 ,一 旦 实际 癌 
题 出 现 大 的 变化 ,有 些 算法 可 能 具有 不 稳定 性 . 于 是 ,用 实际 数据 
评价 算法 时 ,可 以 选 出 适合 这 些 数据 的 最 好 算法 . 若 实际 问题 数据 
有 较 大 的 变化 时 ,应 该 注意 算法 的 适应 性 . 弥补 这 方面 的 不 足 , 还 
应 该 用 数值 实验 的 方法 产生 .- 些 有 代表 性 的 数据 . 

研究 组 合 优化 问题 时 ,一 种 常用 的 方法 是 产生 一 些 具 有 代表 
性 的 随机 数据 . 通过 这 些 数据 来 评价 算法 的 效率 .这 些 数据 的 产生 
应 充分 考虑 代表 性 . 由 此 对 算法 的 评价 才 具 有 可 人 和信 性 . Soloman5o 
在 研究 具有 时 间 和 窗口 的 车 辆 线路 问题 时 ,给 出 一 个 56 个 实例 的 产 
生 方法 .通过 下 全 可 以 了 解数 据 产生 的 一 种 考虑 方法 . 

例 1.17 经 典 的 具有 时 间 窗 口 的 车 辆 线路 问题 可 以 简单 地 
描述 为 : m 个 车 辆 服务 于 x 个 城市 , 同 = 个 城市 的 TSP 相同 ,城市 
与 城市 间 有 路 径 费 用 ;同时 ,每 个 城市 有 特殊 的 服务 时 间 称 为 时 间 
窗口 ;只 有 在 服务 时 间 内 的 服务 十 是 有 效 的 ;如 何 安 排 s 个 车 辆 
使 得 满足 服务 时 间 的 要 求 且 费 用 最 小 . 随机 数据 产生 的 规则 如 下 

(1)》 城市 的 位 置 分 布 

按 均 与 分 布 (uniform)、 堆 分布 (cluster) 和 半 堆 分 布 
(semi-cluster》 三 类 情况 . 均匀 和 分布 表 示 城 市 位 置 在 一 个 区 域内 服 
从 均匀 分 布 . 堆 分布 表 示 以 一 些 中 心 点 密集 分 布 . 半 堆 分 布 则 介 于 
均匀 分 布 和 堆 分 布 之 间 . 用 图 1. 2 表示 . 

城市 位 置 按 上 面 三 种 分 布 产生 坐标 点 . 
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均匀 分 布 堆 分 布 


图 1.2 位 置 分 布 形 式 


(2) 时 间 和 窗口 

时 间 黎 口 是 指 各 城市 要 求 服务 的 开始 和 完成 时 间 . 按 75% 的 
城市 有 时 间 窗 口 限 省 和 100% 的 城市 有 时 间 短 口 卡 制 两 种 要 求 ， 
时 间 跨 度 有 大 和 小 两 种 情况 ,由 均匀 分 布 产生 时 间 窗 口 数据 . 

文献 [12] 兴 产生 56 个 数据 实例 . 这 些 实例 现 已 成 为 研究 有 时 
间 窗 口 车 辆 路 线 问 题 的 典型 数据 . LL 

第 二 个 因素 是 计算 结果 分 析 . 计算 结果 分 析 分 为 一 个 算法 分 
析 和 凶 个 算法 比较 分 析 . 一 个 算法 结果 分 析 需 要 知道 实例 的 最 优 
解 zogr(Z 或 下 界 xun 站 5 目标 是 极 沙 ), 算 法 五 目标 值 为 xs. 评 


价 和 解 的 性 能 公式 有 绝对 差 
xzHfT) 一 zoprt1) 或 zn 0) 一 ra. (1. 29) 
相对 差 
znd ) 一 zopr Ci} RH 一 多 LBK 
Zo 或 arn) ， (1. 30) 
或 
&H(L) 一 zopT《TT 或 ZHCE) 一 Ru <c1.31) 


HT 了) HE) 

通过 采用 上 述 的 公式 ;最 终 可 采用 上 典型 数据 或 用 统计 姓 理 的 

方法 .比较 算法 的 性 能 . 需要 注意 评价 公式 中 ,应 尽量 根据 已 有 的 
信息 以 避免 过 多 的 计算 . 如 在 (1. 30) 和 (1. 31) 各 个 评价 公式 中 ， 


等 
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每 个 公式 用 到 两 个 计算 值 ,而 证 有 问 时 采用 二 个 计算 值 . 
对 于 解 的 稳定 性 分 析 ,可 采用 统计 学 中 的 方 莽 


Do= Yeh) 一 HI)’, (]. 32) 
J 在 只 
其 中 
FF ] 芯 ‘ 
互 = 二 >,zn(7)， (1. 33) 


feES 

S 表示 所 有 数据 实例 的 集合 ,1S | 表示 S 中 包 会 的 实例 数 . 

算法 所 耗 用 的 计算 时 间 人 也 是 一 个 重要 的 指标 . 

对 多 个 算法 的 分 析 比 较 时 ,两 种 算法 HH 和 H;, 若 优化 问题 的 
日 标 是 极 小 目标 郴 数 ,对 任意 的 实例 了 

za (1) < (zn CD), {1. 34) 

则 称 Hi 优 于 ‘不 次 于 )H;. 

多 个 算法 的 分 析 比 较 同 样 可 以 考虑 解 的 性 能 、 解 的 稳定 性 和 
耗 用 时 间 等 指标 . 可 以 用 (1.32) 的 方差 公式 考虑 耗 用 时 间 的 稳定 
性 , (1. 34) 式 是 对 每 一 个 实例 进行 比较 ,同样 ,可 用 该 公式 比较 一 
组 数据 的 平均 效果 . 类 似 (1.34), 可 以 比较 稳定 人 性 .计算 时 间 等 
指标 . 

最 后 ,用 图 1. 3 表示 启发 式 算 法 解 之 闻 的 关系 . 对 极 小 目标 函 
数 移 优化 问题 ,理论 上 上 可 以 保证 并 县 很 容易 证 明 , 任 何 一 个 求解 优 
化 问题 可 行 解 的 启发 式 算法 的 目标 什 都 是 最 优 值 的 上 界 . 在 图 1. 3 
中 ,一 步 法 .改进 法 ,分支 定 界 启发 式 ,、 割 平面 启发 式 、 绑 性 规划 松 
弛 再 对 解 可 行 化 . 拉 格 朗 晶 松弛 可 行 化 ,禁忌 搜索 ,模拟 退火 ,遗传 
算法 、 人 工 神经 网 络 , 限 制 解 空间 、 分 解法 和 组 合算 蒜 等 的 日 标 值 
都 是 最 优 值 的 上 界 . 理论 上 无 法 区 分 这 些 算法 的 目标 仁之 间 的 顺 
序 美 系 , 要 了 解 这 些 算法 对 一 个 问题 的 适用 性 ,只 有 通过 大 规模 数 
值 计 算 分 析 比 较 , 线性 规划 松弛 和 拉 格 朗 日 松弛 等 算法 则 提供 优 
化 问题 的 下 界 ,如 图 1. 3 所 示 ，* 它 们 的 目标 值 不 超过 最 优 值 . 
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一 贞 法 的 日 标 什 4 

改进 法 的 日 标 信 日 

基于 数学 规划 ;分 支 定 界 崩 发 式 , 抽 平面 房 发 式 , 线 | 。 标 
性 规划 发 驰 凡 对 解 可 行 化 , 拉 格 半日 松 驰 可 行 | 。 值 
化 等 的 片 标 但 ， 

现代 优化 算法 ; 优 品 搜索 , 模 搜 授 火 , 选 传 算 法 ,人 工 | 
神经 网 络 等 的 日 标 什 

其 它 : 如 限制 做 空间 ,分 解法 ,组 人 台 算 法 等 的 月 标 值 


| 


景 优 值 
下 异 算 法 ; 


鲁 性 规划 松 邹 , 控 格 朗 日 松 怠 等 的 日 标 此 


图 1.3 启发 式 算 达 日 标 秆 的 关系 


1.5 NP,NP-C 和 和 NP-hard 概念 


第 2 节 初 步 介 绍 了 计算 复杂 性 的 一 些 概 念 ,我 们 知道 了 多 项 
式 问题 ,同时 也 知道 像 例 1.1 ~ 1.5 的 组 合 优 化 问题 还 没有 找到 
多 项 式 时 间 的 最 优 算法 .本 节 将 以 组 台 最 优化 问题 为 研究 对 象 , 介 
绍 计算 复 杂 性 的 NP、NP-C 和 NP-hard 概念 ,通过 儿 个 典型 组 合 优 
化 问题 - 步 -- 步 地 展开 、 深 入 ,逐渐 理解 有 关 NP.NP-C 利 
NP-hard 的 概念 . 同时 ,以 这 些 问 题 的 -- 步 步 深入 ,介绍 如 何 研究 
一 个 组 合 优化 问题 的 复杂 性 . 

NP,NP-C 和 NP-hard 复杂 性 问题 的 研究 涉及 计算 机 概念 . 在 
此 ,公用 组 合 优 化 中 较为 直观 和 通用 的 语言 简单 描述 . 

首先 ,我们 介绍 一 些 有 关 组 合 优化 问题 复杂 人 性 的 基本 概念 . 复 
茜 性 的 研究 是 从 * 问 题 fproblem7?” 开 始 的 .问题 是 需要 回答 的 一 
般 性 提问 ,通常 含有 若干 个 满足 一 定 条 件 的 参数 . 问题 通过 下 面 的 
描述 给 定 : 
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《1) 描述 所 有 参数 的 特性 ， 

<2) 描述 答案 所 满足 的 条 件 . 一 忠 所 有 的 参数 确定 , 则 我 们 称 
之 为 问题 的 -个 实例 ， 

定义 1.6 给 定 一 个 组 合 优 化 疝 题 , 当 闭 题 中 的 参数 赋予 具 
体 值 时 , 称 为 问题 的 一 个 实例 (instance). 这 些 具 体 值 称 为 数据 ,这 
此 数据 输入 计算 机 所 占 空间 称 为 实例 的 输入 长 度 (size). 

于 是 ,对 问题 .实例 和 输 太 长度 三 个 概念 ,我 们 用 表 1.2 和 表 
1.3 所 列 内 容 来 理解 . 


表 1.2 问题 和 实例 


问题 实例 

TSP 人 鲍 1.2 问题 中 的 各 参数 为 :109 个 城市 ,城市 则 蚜 窜 a， 
已 知 . 

背包 问题 例 1.1 问题 中 的 各 个 参数 为 :4 个 物品 ,大 小 分 别 为 4， 


3,2,2, 和 价值 分 别 为 8,7,57. 包 的 大 小 为 人 
整数 线 住 规划 例 1.3 问题 中 的 ,4,5,c 已 知 . 


实例 是 问题 的 特殊 表现 ,只 有 给 定 了 数据 ,才能 通过 计算 机 解 
决 . 实例 的 输入 长 度 同 计算 机 中 的 存储 编码 方式 有 关 , 如 采用 二 进 
制 编码 , 则 通过 表 1. 3 了解 输入 长 度 的 概念 . 


表 13 编码 与 输入 长 度 


数据 二 进 制 输入 长 诬 

1 1 1 

2 10 2 

10 1010 4 

4 1000000 7 

上 :2 <| logst |+1 
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- 般 以 正 整 数 8(8 守 1) 进 制 记录 一 个 正 幕 数 * 的 展开 形式 为 

n= aa 二 十 a， (1. 35) 
其 中 :6 到 人 它 的 记 进 制 数据 为 Cd ado, 由 于 
Ri < rep nn < Bo! < eert 


输入 长 度 4 十 1 在 iogyn 与 og 十 1 之 间 , 或 用 整数 logpn | 十 1 
售 计 输 入 长 度 的 上 限 .对 多 个 数据 的 实例 ,采用 数据 累计 的 方法 记 
孙 实 例 的 输入 长 度 . 例 1.6 线性 规划 问题 实例 的 输入 长 度 的 估计 
就 是 采用 数据 宗 计 的 方法 . 由 于 计算 机 中 只 有 有 限 位 有 效 数 , 故 所 
有 数据 都 以 有 理 数 讨论 . 由 于 整数 0 的 给 入 长 度 为 1, 定 义 1ogp0 一 
0 后 ,上 面 的 结论 可 以 推广 到 非 负 整 数 ， 

注 :此 处 都 是 对 非 负 整数 考虑 输入 长 度 , 即 没有 考 目 实际 数据 
中 的 负 号 . 以 例 1.6 的 线性 规划 为 例 , 它 的 很 多 系数 可 以 有 正 负 号 
的 ,约束 中 还 出 现 所 , 尖 和 一 等 方程 ,这 些 都 没有 在 上 面 讨论 的 
实例 输入 长 度 中 考虑 . 它们 将 在 下 面 讨论 的 算法 中 体现 . 

-个 实例 完全 由 它 的 数据 决定 . 给 定 一 个 问题 的 数据 , 即 给 定 
一 个 实例 ,我 们 可 以 用 一 种 已 知 的 计算 机 上 的 方法 去 求解. 这 种 计 
算 机 上 的 求解 方法 称 为 算法 . 算法 不 仅仅 局 限于 每 一 个 实例 ,而 是 
求解 问题 的 通用 程序 . 评价 算法 的 -个 主要 指标 是 计算 所 耗 用 的 
时 间 . 契 用 的 时 间 可 以 通过 两 种 方法 计量 . 第 一 种 计量 方法 是 计算 
机 中央 处 理 器 处 理 实例 的 工作 时 间 . 由 于 计算 时 间 可 能 因 计算 机 
的 运算 速度 不 同 而 产生 差别 ,这 种 计量 方法 因 计算 机 的 不 间 而 失 
去 了 上 比较 的 效能 . 另 一 种 计量 方法 是 估计 算法 的 基本 运算 总 次 数 ， 
即 算法 中 加 、 碱 . 乘 . 除 和 比较 等 的 总 次 数 . 无 论 如 何 ,算法 的 加 、 
玻 \ 滋 . 除 和 比较 等 基本 运算 是 唤 定 的 ,于 是 ,一 个 算法 基本 运算 的 
总 次 数 也 就 称 为 该 算法 的 计算 时 间 . 衡量 一 个 算法 的 计算 效率 应 
该 考虑 计算 时 间 和 其 计算 实例 的 输入 长 度 . 一 个 算法 解决 一 个 问 
题 ,我 们 以 此 为 目的 构造 算法 . 在 第 2 节 中 我 们 已 介绍 , ~- 个 算法 
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的 功效 是 通过 该 算法 的 最 坏 实 例 的 计算 时 间 来 评价 ; -个 问题 是 
和 理 为 多 项 式 疝 题 是 通过 研究 是 否 存 在 一 个 最 优 算法 和 一 个 多 项 式 
函数 gtx) 使 得 (1.13) 对 所 有 的 实例 成 立 . 

馆 邻 为 未, 对 许多 的 组 合 优化 问题 都 没有 找到 求 最 优 解 的 多 
项 式 时 间 算 法 ,因此 , 比 多 项 式 问题 更 广泛 的 一 类 问题 是 非 多 项 式 
确定 Cnondeterministic polynomial , 简 记 NP) 问题 .NP 的 概念 是 
由 判定 问题 引入 的. 

定 久 1.7 如果 一 个 问题 的 每 -个 实例 只 有 “是 ”或 “ 否 ” 两 
种 答案 , 则 称 这 个 问题 为 判定 问题 . 称 有 肯定 管 案 的 实例 为 “是 ” 
实例 . 称 答 案 为 “ 香 ” 的 实例 为 “各 ”实例 或 非 * 是 ”实例 . 

在 研究 组 人 台 优 化 问题 复杂 性 时 ,处 理 的 方法 是 对 纵 定 的 一 娄 
优化 问题 ,将 其 转化 为 判定 癌 题 ,使 对 每 -个 实例 只 有 “是 ”或 
“ 否 ” 的 回 管 . 例 1.18 和 1.19 就 将 组 合 优 化 问题 转化 为 判定 问题 . 

例 1.18 例 1.6 的 线性 规划 问题 (LP) 转化 为 一 个 判定 阿 题 
一 一 LP 判定 问题 : 

先 给 出 一 个 目标 值 <, 将 极 小 化 目标 函数 转化 为 :判定 是 否 有 
可 行 解 使 其 目标 值 不 超过 这 个 z. 判定 问题 的 数学 表达 式 为 : 

给 定 *, 是 否 有 { 人 fr|cz xz,Ax 二 BIT 宇 0) 产 人 0? 
开 所 (cy < 委 zdx 一 总 渤 和 ) 称 为 对 应 线性 规划 判定 问题 的 可 
行 解 . 同样 ,整数 线性 规划 也 可 以 写成 同上 类 拟 的 判定 问题 。 ”器 ] 
例 1.19 例 1.2 的 TSP 问题 转化 为 一 个 判定 问题 . 


用 个 城市 的 一 个 排列 zz yin) 表示 商人 从 城市 二 出 发 
依次 通过 ,……z 最 后 返回 这 样 一 个 上 路径. 判定 问题 为 : 给 定 
<: 是否 存在 天 个 城市 的 一 个 排列 Wo= (21 zzz 人 司 得 


fW) = Fd, E29 
1=1 


其 中 4 一 十 .满足 /CW) 二 > di 之 2 的 一 个 排列 W 称 为 对 应 
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判定 问题 的 一 个 可 行 解 . 

如 下 而 的 例 1.20 和 例 1.21 所 示 , 有 些 组 侣 问题 本 身 是 一 个 
兰 定 阿 题 . 

例 1.20 适 定 性 问题 . 

在 多 辑 运算 中 ,布尔 变量 工 的 取 值 只 有 两 个 :“ 真 ”和 * 假 ”, 丈 
辑 运 算 有 “或 (十 ?7 与 1 和"“ 非 全 ) ， 如 时 * 真 ”用 "1” 训 示 ,” 撒 ” 
用 “0” 表示 ,布尔 运算 遵循 表 1. 4Ca)(b}(e). 
表 1.4(a) 运算 “十” 表 1,.4(b) 运算 “.” 表 1 4(e) 运算 *--” 
布尔 变量 秆 | 运算 结果 “布尔 变 是 值 | 运算 结果 布尔 变量 值 | 运算 结果 


没 {z1 ,Xas" ,zn 为 n 个 布尔 变量 ,布尔 变量 及 其 “ 非 ” 组 成 的 集合 
{Xi Tp Ta TL Ta rev 让 称 为 交 字 集 . 文字 集 的 任意 一 个 子 集 
及 其 各 元 案 的 “或 ”运算 组 成 一 个 名 子 .mp 个 句子 政之 峰 的 “与 ” 运 
算 组 成 一 个 表达 式 . 

如 表达 式 

Cx 十 BE) - ma 
的 两 个 句子 为 zt 十 Tz 和 Xz. 当 每 一 个 逻辑 变量 取 一 定 值 时 ,采用 
垩 辑 运 算 闫 系 , 可 以 计算 布尔 表达 式 的 值 . 在 上 式 中 , 当 交 一 1，z 
一 1 时 ,表达 式 为 * 真 ”. 一 组 使 表达 式 为 * 真 ”的 变量 到 值 称 为 直 信 
分 配 . 存在 真 值 分 配 的 表达 式 称 为 适 定 的 . 容易 证 明 ,表达 式 
《zi 十 Ta》 (2 十 了 (十 zz) C1 + xi) 

就 不 是 适 定 的 . 

适 定性 问题 定义 为 ， 

给 定 包 含 = 个 布尔 变量 的 闫 个 句子 CC Co 布尔 表达 式 
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CCa Co 是 适 定 的 吗 ? [1 

例 1.21 三 精确 获 盖 ， 

已 知 5S 二 (eszzaa 的 个 于 集 构成 的 子 集 族 下 = 15,， 
SS ,其 中 每 个 子 集 包含 中 三 个 元 素 , 下 中 是 理 存 在 闫 个 
子 集 553, 使 得 US, 了 3S3?m 个 子 集 5; ,SS 满 
足 U7 5, 习 5, 称 为 区 个 了 于 集 S115, 3 覆盖 9. 口 

对 于 判定 问题 ,我 们 可 以 将 求解 该 问题 的 算法 分 为 两 个 阶段 ， 
第 一 阶段 称 为 猜测 阶段 . 它 的 主要 工作 是 求解 或 猜测 该 问题 的 一 
个 解 . 对 于 “是 ”实例 ,我 们 的 有 目标 是 能 够 找到 回答 “是 ”实例 的 解 . 
第 二 个 阶段 称 为 检查 或 验证 阶段 . 一 旦 解 已 经 选 定 , 将 猜测 的 解 作 
为 输 人 ,验证 此 解 是 否 为 该 实例 “是 ”的 回答 . 我 们 称 实 询 回 管 
“是 ”的 解 为 实例 的 可 行 解 ,否则 称 为 不 可 行 解 . 确定 一 个 实例 是 
否 存 在 回答 “是 ”的 解 是 难度 较 大 的 工作 , 它 需 要 从 你 多 的 解 中 寻 
找 . 

时 常 采用 "* 解 ”表示 问题 的 - :个 解 瑞 方案 . 在 计算 机 计算 的 过 
程 中 ,问题 的 每 -- 个 实例 在 计算 机 输 和 人 时 都 以 一 定 结构 的 字符 串 
表示 ,如 例 1.5 的 线性 规划 问题 可 以 用 -- 个 长 度 为 (wm 十 mw 十 
na)(1 十 logs1p1) 的 01 字 符 串 表示 . 实例 的 每 一 个 解 也 同样 可 以 用 
一 个 字符 串 表 示 . 在 计算 的 过 程 中 ,由 于 求解 判定 问题 的 两 阶段 
性 ,第 一 阶段 涉及 实例 的 输入 ,因此 ,有 实例 的 输入 长 度 , 第 二 阶段 
以 第 一 阶段 的 猜测 解 作为 输入 ;因此 ,产生 猜测 解 的 输入 长 度 .在 
此 ,为 了 不 引起 混 洒 ,在 输入 长 度 前 分 别 强调 实例 输入 长 度 和 和 猜测 
解 输入 长 度 . 

定 久 1.8 若 存 在 一 个 多 项 式 函 数 g(x) 和 一 个 验证 算法 了， 
对 - -类 判定 问题 4 的 任 放 一 个 “是 ”的 判定 实例 I, 都 存在 -~ 个 字 
符 上 种 5S 是 I 的 "是 ” 管 案 , 满 足 其 输入 长 度 d(5) 不 超过 gCd01)) ,其 
中 a 为 1 的 输入 长 度 ,是 算法 日 验证 5 为 实例 工 的 “是 ” 管 案 的 
计算 时 间 /CHD 不 超过 gtd00)), 则 称 判 定 问 题 所 是非 儿 项 式 确 
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定 的 , 简 记 为 NP. 在 不 湿 清 的 情况 下 ,用 NP 表示 所 有 非 多 项 式 确 
定 问 题 的 集合 . 

由 上 面 的 定义 知 ,判定 问题 是 否 属 于 NP 的 关键 是 对 “是 ”的 
判定 实例 ,“ 存 在 ”一 个 字符 囊 和 算法 ,满足 以 上 定义 . 我 们 不 须 回 
答 * 丰 在 ”的 算法 和 字符 串 是 怎样 得 到 的 ,这 里 字符 串 的 会 义 可 以 
理解 为 实例 的 -- 个 解 .定义 1.8 中 两 处 用 到 多 项 式 的 限制 ,一 处 是 
“是 ”答案 5 的 输入 长 度 不 超过 gC(d(D)), 另 一 处 是 算法 HH 验证 
为 实例 了 的 “是 ” 管 案 的 计算 时 间 不 超过 g(d(1)). 可 以 将 上 面 定 
义 中 这 两 处 的 多 项 式 限 制 改 变 为 :存在 两 个 肆 项 式 函 数 g(x) 和 
8z(T) 使 得 “是 ”答案 的 输 人 长 度 不 超过 site(C7)) ,算法 HH 验证 
S 为 实例 1 的 “是 ”答案 的 计算 时 间 不 超过 gs(Q(I)). 因为 只 要 选 
高 阶 的 多 项 式 作 为 定义 1.8 的 g(x}, 这 样 的 定义 与 原 定 义 1.8 等 
价 . 

对 非 “ 是 ” 实例 ,我 们 不 讨论 它 的 相关 判定 的 结果 , 由 定义 可 
知 上 CNE. 用 下 面 例 1.22 一 1.24 理 解 如 何 确定 一 个 判定 问题 是 
理 属 于 NP. 

例 1.22 ( 续 1.18) 有 理 系 数 的 LP 判定 问题 属于 NP， 

例 1.18 已 给 出 LP 判定 问题 . 由 于 LP 的 解 可 让 = 个 变量 的 取 
值 严 定 .任何 一 个 基本 可 行 解 的 各 分 量 满 足下 面 性 和 质 . 下 面 用 到 线 
性 规划 的 基本 结论 ,主要 包 插 :极点 的 概念 .基本 可 行 解 的 性 质 等 ， 
相关 的 内 容 可 参考 线性 规划 方面 的 论著 (如 文献 [13]). 

性 质 1.1 LP 和 任何 一 个 基本 可 行 解 的 各 分 量 及 日 标 函 数值 
cz 有 界 , 旦 其 二 进 制 字符 串 表 达 式 的 输 人 长 诬 不 超过 区 一 mr 十 
mm 十 nr 十 logs1z|, 即 基本 可 行 解 的 输入 长 度 不 超过 实例 输入 长 度 
的 名 项 式 函 数 , 其 中 p 在 例 1.6 中 定义 . 

证 明 按 假 设 LP 的 系数 为 有 理 数 和 zm 志 %, 因 此 等 价 为 LP 
的 所 有 系数 为 整数 . 对 LP 的 任何 一 个 基本 可 行 解 , 当 分 量 x, 一 0 
时 ,性 质 结 论 显 然 成 立 . 当 基 变量 分 苹 x; 关 0 时 ,由 线性 规划 的 结 
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论 :xza 一 吾 - 古 ,其 中 吾 为 革 上 矩阵 . 再 由 代数 的 基本 结论 二 :上 一 
B* /det(B) ,其 中 B' 为 B8 的 伴随 矩阵 .在 溢 有 简约 的 情况 下 , 知 任 


何 -个 非 零 基 变 量 的 分 母 为 detCB), 分 子 为 ibA, 其 中 4 为 


第 7 行 7 列 的 代数 余子 式 . 于 是 分 子 . 分 母 和 目标 晒 数 值 分 别 满足 
1 |qet (| milpl, 


| Dn, 


| Sr,|= | cy oa | 和 Cm 十 191 二 |， 
ji y=1 i=1 


由 于 区 挝 no8 之 霓 十 1 迄 2 各 和 nn 之 2", 得 到 目标 盾 和 基本 
可 行 解 的 每 一 个 分 量 值 不 超过 
mllp < nt Dp pp| < 9+tmtegiogslsl, 
所 以 ,基本 可 行 解 的 任何 一 个 分 量 和 目标 值 的 输 人 长 度 都 不 超过 
工 一 logs 2™" tmt=tiogzlpl 
由 人 重 1.6 的 讨论 ,实例 的 输入 长 麻 4 的 下 限 是 max {mn 十 mm 十 
nslogz | 六 | }, 再 由 上 面 的 讨论 ,基本 可 行 解 的 输入 长 度 不 超过 nn2， 
暴 需 取 多 项 式 孙 数 g(x) 二 2x:, 则 有 ,基本 可 行 解 的 输入 长 度 不 超 
过 staz(7)) .性质 成 立 . 口 
对 工 了 判定 问题 的 一 个 “是 ”实例 ,由 钱 性 规划 的 结论 ,存在 一 
个 基本 可 行 解 . 当 给 定 LP 的 一 个 基本 可 行 解 +, 其 要 验证 是 否 满 
中 {cx 之 z,Ar 之 6x 这 00)? 验证 时 最 多 需 工 = (mm 十 1)a 个 乘 ， 
Ls 一 Cm 十 1005 一 了 个 加 或 沽 ,Li 一 mm 十 1 个 比较 . 当 sm,n 守 1 
时 ,如 此 设计 的 验证 算法 计算 时 间 不 超过 工 ; 十 Ls 十 了 一 2ozzz 十 
2n < 2max [mn 十 zm 十 nlogs|pP1}. 基本 可 行 解 的 输入 长 度 不 超过 
a 荆 , 满 是 nL 二 2max{ma 十 m 十 nlogs| 记 P|)*. 由 例 1.6 知 实例 的 
输 人 长 度 的 下 限 为 max{xmen 十 澡 十 nw,logs1 思 1}, 故 定义 1.8 中 的 
多 项 式 哨 数 可 以 选 g(x) 一 2x'. 此 时 ,已 有 多 项 式 函 数 g(z) 一 22 


委 ml|pl|, 
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和 简单 的 验证 算法 ,使 得 验证 一 个 基 相 可行 解 是 否 为 LP 判定 问 
题 的 一 个 可 行 解 所 花费 的 时 间 和 基本 可 行 解 的 输入 长 度 满足 定义 
1.8; 所 以 LP € NP. 器 ] 

例 1.23 《 续 例 1. 19)TSP 问题 属于 NEF. 

例 1.19 给 出 了 对 应 的 判定 问题 . 对 任何 一 个 城市 TSP 实 
例 , 它 的 解 形式 是 (1,2、…,n) 的 -- 个 排列 且 一 人 ia) 显然 
该 字符 捉 输 入 长 度 不 超过 》) {| logsi |+ 于 2 十 中 log | 实 
例 的 输入 长 度 可 由 城市 间 的 距离 数据 确定 ,城市 间 的 距离 数据 有 
n(n 一 1) 个 (不 考虑 城市 自身 间 的 距离 ) ,城市 :和 j 之 间 的 一 个 非 
零 吓 离 di 的 输入 长 府 不 低 于 max{1,logs1a1} ,因此 ,实例 的 输入 
长 放 不 做 于 上 二 max {nln 一 1),log;|1Pi}, 其 中 ,P= 二 Did;;|di, 关 
0} .这样 估计 出 实例 的 输 人 长 度 不 低 子 nn 一 1). 上 面 的 讨论 表 
明 ,TSP 任何 一 个 解 的 输入 长 度 不 超过 (1 十 | logom <nn 一 
1) 十 4; 不 超过 实例 输入 长 度 工 十 4. 

车 给 定 TSP 判定 实例 的 一 个 可 行 解 ,只 需 验 证 


1am = Da < 
1 


验证 算法 有 P= 个 加 法 和 一 个 比较 ,算法 的 计算 时 间 为 a 十 1 二 
蕊 一 4 于 是 ,定义 1.8 中 的 多 项 式 函 数 可 选 g(z) 一 x 十 4, 验 证 算 
法 移 计 算 时 间 和 判定 问题 实例 可 行 解 的 输入 长 讼 都 满足 定义 1.8 
的 要 求 , 故 TSP € NP., 口 

例 1.24 (: 续 例 1.20) 三 精确 覆盖 属于 NP. 

仿 集 合 中 共有 3m 个 元 素 , 按 下 标 排 列 这 些 元 案 , 此 时 , 子 集 族 
中 的 每 一 个 元 素 S.Ci 二 1,2, 和 "11) 对 应 一 个 3m 维 向 量 . 向 量 形 
式 为 :向 量 的 3m 个 分 量 分 别 对 应 3m 个 元 素 , 包 会 在 对 应 子 集 中 
的 元 素 为 1: 余下 的 为 0. 例如 ,6 个 元 素 3 二 {zwos… zs) ,了 中 的 
一 个 元 素 ( 即 5 的 一 个 子 集 )S1 = {zi ,ws#s); 对 应 向 量 为 a = 二 (1， 
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1;0;0,0,1). 表示 为 -个 字 答 蝇 避 10001). 玉 中 避 个 元素 1S, 3,,， 
是 三 的 一 个 精确 二 覆盖 的 充分 必要 巡 件 为 字符 绅 向 草 问 
题 满足 :相应 mx 个 字符 串 对 应 的 向 量 江 ,aas， 满足 DC 
= {1;31,-…,1), 

无 论 如 何 , 三 精确 履 盖 问题 任何 -个 实例 的 输入 长 度 至 少 需 
要 占用 长 度 3m. 上 面 的 讨论 得 到 ,三 精确 覆盖 问题 转化 为 一 个 字 
符 串 向 量 癌 题 . 按 字符 坤 向量 问题 ,精确 二 覆盖 任何 一 个 “是 ” 实 
例 的 解 可 以 用 输 人 长 度 为 39z 的 字符 表示 . 验证 2 一 (1,1， 
…*1) 是 否 成 立 的 算法 需 3m 个 加 法 和 3m 个 比较 ,算法 的 计算 时 
间 为 3mz 十 3m, 密 项 式 函 数 可 选 gtr》 一 3zx? 十 , 刚 定 光 1,8 条 
件 满 足 ,所 以 三 精确 覆盖 属于 NP. 口 

研究 中 常常 有 这 样 一 种 思路 ,我们 设法 将 几 类 问题 归结 为 一 
个 问题 ,一 量 解 尖 了 这 一 个 归结 后 的 问题 ,其 他 的 几 类 问题 也 就 得 
到 解决 ,我 们 称 这 种 方法 为 归 类 或 归 约 . 处 理 判定 问题 也 有 类 似 的 
方法 . 

定义 1.9 给 定 问 题 41 和 A2, 车 存在 --- 个 多 项 式 函 数 5(z) 
利 一 个 字符 串 有 映射 关系 满足 ， 

C1) 对 41 的 任何 一 个 实例 二 ,在 实例 五 输 和 人 长度 的 多 项 式 时 
间 ge)) 内 构造 42 的 一 个 实例 了, 使 其 输入 长 座 不 超过 
gtdtT1)}( 其 中 dt 了 0) 为 实例 了 荆 的 输入 长 度 ). 

(2) 由 此 构造 使 得 实例 工 和 五 的 解 一 一 对 应 , 且 忆 为 五 的 
“是 ”等 案 的 充分 必要 条 件 为 配对 应 的 解 是 五 的 一 个 “是 ”答案 , 则 
称 问题 41 密 项 式 转换 为 (Transformation)42 问题 . 

用 下 面 例 1. 25 和 岗 1. 26 理解 定义 1. 9. 

例 1.25 〈 续 例 1. 20) 适 定 性 问题 多 项 式 转换 为 整数 线性 规 
划 问 题 ， 

将 适 定性 问题 的 逻辑 变量 “* 真 ”对 应 “1?,* 假 ” 对 应 “0”, 于 是 
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逻辑 变 景 + 对 应 整数 灾 量 ,对 应 1 一 .一 个 n 个 变 景 的 句子 CC 
三 1,2, ,2)》 要求 是 < 真 ”, 对 应 下 列 不 等 式 是 否 有 可 行 解 ? 
ri 十 pe 亏 ) 六 1， 了 一 ] 2374 {1. 36) 


| zi € {0,11, j= 1,2,n. (1. 37) 
对 于 迁 定 问题 的 任何 一 个 实例 , 它 是 由 +» 个 退 辑 变 量 和 x 个 
句子 组 成 , 按 实 售 的 定义 ,mz 个 甸子 中 的 逻辑 变量 佣 是 已 知 的 数 
据 , 故 适 定性 问题 实例 的 输 人 长 度 是 mzx. 由 Q. 36) 和 (1.37) 的 映 
射 , 对 应 wz 组 C1. 36) 和 (1. 37) 形式 的 林 等 式 是 整数 线性 规划 问 
题 , 对 应 整数 线性 规划 实例 的 输入 长 度 按 例 1.6 前 估计 不 超过 
Gm 十 mz 十 Cn 十 #8) 十 mm 十 miogsn. 轩 此 ,定义 1.9 中 的 多 项 式 
函数 选 g(x) 一 6z .就 有 定义 1.9 的 (1) 成 立 . 易 证 透 定 问 题 转换 
到 对 应 (1, 36) 和 (1.37) 约 东 的 整数 规划 问题 满足 (2) ,说明 适 定 
性 问题 多 项 式 转换 为 整数 线性 规划 问题 ， 口 
研究 硬 1.1 的 01 背包 问题 的 一 种 特殊 情形 cj = a,,j 二 1,2， 
可 以 给 出 一 个 判定 问题 :0-1 背包 判定 问题 
对 给 定 的 整数 c,3 二 1,2,…,n 和 和 5, 是否 存 在 {1,2,…,n) 的 
子 集 BB, 使 得 Dc, = 5? 
JE 王 
例 1.26 三 精确 覆盖 多 项 式 转换 为 0-1 背包 判定 问题 . 
由 例 1.24 的 S; 与 二 进 制 向 量 对 应 美 系 ,一 个 二 进 制 向 量 又 可 
一 一 与 一 个 整数 对 应 ; 
3 一 > ci 一 2 十 1) 一: {1. 38) 


如 此 ,将 一 个 向 量 一 一 对 应 于 一 一 个 整数 . 由 再 对 应 于 3m 个 分 量 全 
为 1 的 向 量 (1 1 :… 1), 选 下 为 


(1 TI … 1) 一 太一 Dt (1. 39) 
容易 验证 上 面 对 应 满足 定义 1. 9(1). 直上 面 的 构造 ,三 精确 覆盖 
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实例 的 一 个 解 {S; ,S, ,5; } 和 下 一 一 对 应 背包 问题 实例 的 - 
个 解 此 一 {Ti 92 lm). 此 时 ,5 存在 一 个 精确 三 覆盖 (599 ， 


…,S,.) 的 充 要 条 件 为 > "cv = 下 
充分 性 ; 假设 存在 了 王 {1,2,…,n), 使 得 3c 一 天. 由 


《1.38) 和 (1.39) 五 的 每 个 指数 项 系数 为 1 又 因为 了 的 总 项 数 不 
超过 ,其 同 次 突 项 的 系数 和 不 超过 x, 因 而 ,由 荆 和 {1. 39),n 十 1 
的 每 个 次 寡 项 系数 恰好 为 1. 由 (1.38) 的 反 变 换 , 得 Sj,j ET 是 5 
的 一 个 三 精确 覆盖 . 

必要 性 : 由 (1. 38) 和 (1. 39) 的 定义 ,可 得 结论 . 

由 上 面 询 讨论 ,映射 关系 (1. 38) 和 (1. 39) 满足 定义 1.9(2)， 
所 以 ,二 精确 覆盖 多 项 式 时 间 转 换 0-1 背包 判定 问题 . 加 

Cook[5 在 1971 年 给 出 并 证 明了 有 一 类 问题 具有 下 述 性 质 : 
《1) 这 类 问题 中 任何 一 个 问题 至 今 未 找到 密 项 式 时 间 算 法 ;(2) 
如 果 这 类 问题 中 存在 一 个 问题 有 多 项 式 时 间 算 法 ,那么 这 类 问题 
都 有 多 项 式 时 间 的 算法 ,这 类 问题 记 为 NPC 或 NP-C 
(CNP-Complete), 下 面 给 出 定义 . 

定义 1.10 已 知 判 定 问题 41 和 42, 车 存在 多 项 式 函 数 
81( 工 ) 和 gz《x) ,使 得 对 41 的 住 何 实例 1, 在 多 项 式 时 间 内 构造 A42 
的 一 个 实例 ,其 输入 长 度 不 超过 gt4(07)), 并 对 42 的 任何 一 个 算 
法 H2, 都 存在 问题 41 的 一 个 算法 Hl ,使 得 H1 算法 调用 HH?2 算法 
其 使 得 计算 时 间 fra 所 g(tfw (Cg(a6D))), 其 中 fm(4(070)) 
和 rd(7) 分 别 表示 算法 H1 和 H2 的 计算 时 间 与 实例 输 人 长 度 
2(7 之 间 的 关系 , 则 称 癌 题 41 多 项 式 妇 约 (reduction) 为 A2 
问题 . 

从 定义 1,10 看 出 , 若 42 存在 多 项 式 时 间 算 法 , 则 41 一 定 存 
在 多 项 式 时 间 算 法 ,比较 定义 1.9 和 和 定义 1.10, 若 问题 41 多 项 式 
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转换 为 问题 42, 对 .42 的 - :个 算法 H2, 构 造 求解 41 问题 的 算法 可 
遵 入 如 下 步骤 : 对 问题 41 的 任何 一 个 实例 荆 , 先 用 多 项 式 时 间 
sx 人 CD 构造 42 问题 的 一 个 实例 7 再 调用 算法 H2 求解 六, 这 
一 步 的 计算 时 间 为 fetg1(d (0))), 这样 构 造 的 算法 对 41 问题 任 
意 实例 工 的 计算 时 间 不 超过 8.C2000) 十 ful81(401))); 满 足 定 
久 1.10,Al 包 项 式 妇 约 为 A2 问题 . 由 此 得 到 定义 1.10 比 定义 1.9 
更 广泛 . 

用 例 1. 27 来 理解 定义 1. 10. 

例 1.27 ( 练 例 1.20) 短 定 问题 多 项 式 归 约 为 三 精 欧 杜 盖 
问题 - 

例 1.20 定 义 的 适 定性 问题 为 : zzz 为 逻辑 变量 ,C,， 
Cant :Cm 为 句子 . 现在 构造 一 个 三 精确 覆盖 问题 , 共 分 三 个 部 分 
构造 三 精确 覆盖 的 元 素 集合 5S. 

第 一 部 分 对 所 有 的 多 辑 变 基 及 其 非 进行 复制 ,对 应 每 一 句子 
复制 一 次 , 共 2mmn 项 , 记 成 

U = (grtli = 1 ns = ,2 sm}. 
第 二 部 分 包 合 三 种 类 型 的 元 素 共 2mzn 项 . 
V={ai=12 nT = 2m) fv) = 112 mm} 
Uefli= 2 R13j = 19, mm}. 

第 三 部 分 同 第 二 部 分 的 构造 基本 相同 ， 

Wo={Wi= l= 2 mn} YU {wl|f = 1,2," ,me) 
U {afli = 4,2 1 = 1,2,. ,mm). 

于 是 ,S 中 共 包 会 6mn 个 元 素 . 三 元 素 子 集 旋 玉 仅 由 下 列 三 部 
分 子 集 族 组 成 : 

第 一 部 分 : 由 U,V ,到 中 各 选 一 个 元 天 ,组 成 (zal ,Bi 一 
]2 nf = 12 ma by = 1 ,2 nj O19, 
"ss 其 中 ,定义 art! 一 a. 了 中 包含 a 和 68 类 型 的 元 素 仅 有 上 面 
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这 些 组 合 形 式 , 则 对 任意 站 任何 绑 匡 aifs ,一 1.2,… ,nj 二 1],2， 
的 所 有 三 元 康子 集 族 中 必 昨 同 由 4 和 点 类 再 的 元 素 与 .xij 一 
1;240o 区 组 合 , 姥 Cel) 本 ) 1j 二 112,…, 吉 ;或 是 同 与 Xi,j 二 1， 
290 4 组 合 ; 即 CQ,6) .一 1,2," ,4. 这 一 部 分 包 会 2mn 
个 元 素 . 

第 二 部 分 : 由 (yoi 一 1,2…: 和 组 成 ,其 中 ,是 句子 
,中 的 一 个 逻辑 变量 . 由 于 VU 包含 所 有 人 逻辑 变量 的 "是 ”及 其 
“在”, 自然 包 会 yy 因此 ,第 二 部 分 同 第 一 部 分 仅 在 这 - :位置 可 能 
出 现 相 同 元 素 . 由 卫 的 第 一 ,第 二 部 分 组 成 , 知 EE Cj 门 U. 这 一 
部 分 包含 各 个 元 素 . 

第 三 部 分 Cysyclyd yi 二 12 gn 一 131 二 ] ,2 ;1 抽 , 下 一 
1,2,00 92; 其 中 ,yi 所 如. 这 一 部 分 包 会 (rn -- 1)wzm 个 元 素 . 

三 元 子 集 族 天 中 共有 m:n 一 1) 十 9 十 2mn 个 子 集 . 

假设 适 定性 问题 的 一 个 实例 由 # 个 还 辑 变 基 的 me 个 句子 组 
成 , 实 同 的 输入 长 度 由 xm 个 句子 中 的 逻辑 变量 值 确定 ,因此 实例 
的 输 和 长度 为 mm. 上面 已 构造 三 精确 覆盖 问题 的 一 个 特殊 情况 ， 
这 是 一 种 映射 ,简单 估计 三 精确 覆盖 问题 实例 的 输 人 长 度 不 超过 
上 | 本 1 其 中 个 | 和 外 分 别 表示 集合 3 和 五 中 元 素 的 个 数 , 即 不 
超过 6mntm 十 2mn 十 sm?n), 定 义 1.10 中 的 多 项 式 函 数 选 为 g(x) 
= 67: 十 1842， 

当 三 元 素 族 下 中 存在 $3 的 一 个 三 精确 覆盖 实例 时 , 必 人 包含 第 
二 -部 分 的 m 组 , 取 三 精确 覆盖 中 第 二 部 分 y; 的 轴 辑 蛮 量 为 “ 真 ” 
值 , 即 当 yy 一 EC 时 ,z= 二 113 一 了 EC 时 ,x = 二 0, 则 对 应 适 
定性 问题 的 一 个 “是 ”实例 . 反之 ,对 适 定 问题 的 任何 一 个 “是 ” 实 
例 , 按 上 面 的 构造 , 则 对 应 三 精确 覆盖 也 是 一 个 “是 ” 实例 ,其 三 精 
确 模 蔓 是 :在 五 集合 中 的 第 二 部 分 (yy sw) /二 1 ,2, p97 中 ， 
取 3 为 己 , 中 到 值 为 * 真 ”的 惧 辑 变量 ;在 C, 中 忆 辑 变量 w 可 能 有 
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两 种 形式 多 一 工 , 或 3 一 x 以 yy, 一 工 ; 二 1 的 情况 来 讨论 ( 阿 法 讨 
论 入 一 x; 一 1 的 情况 ): 在 下 的 第 一 部 分 中 , 肥 xi(j 二 1 2 加) 
对 应 的 所 有 二 元 组 .至 此 , 共 选 育 (x 十 Ym 个 三 元 绝 ; 最 后 ,在 中 
的 第 三 部 分 中 ,选取 覆盖 5 中 局 ,V ,W 的 余下 部 分 的 (x 一 Dm 个 
三 元 组 .由 此 ,上 面 构造 的 问题 可 用 三 精确 覆盖 问题 的 一 个 算法 求 
解 , 可 令 gakcr) 二 工 . 闪 比 , 通 定 问题 可 由 包 项 式 归 约 为 三 精确 覆 善 
问题 . [DD] 

定义 1.11 判定 问题 太志 NPC(NP-complete), 其 定义 为 :4 
二 NP 有 NP 中 的 任何 -个 辣 题 可 在 包 项 式 时 间 内 归 约 为 4. 车 
NP 中 的 任何 - -个 问题 可 在 多 项 式 时 间 归 约 为 判定 问题 4, 则 称 A 
为 NP 维 成 NP-hard. 

于 是 有 NPC CC NP-hard. NPC 和 NP-hard 两 者 的 区 别 是 
NP-hard 疝 题 无 顷 判 断 4 是否 属 主 NP. 验证 一 个 问题 4 是 否 为 
NPC 的 关键 有 两 点 ,- -是 NP 中 的 任何 一 个 问题 是 否 可 在 多 项 式 
时 向 内 好 约 为 4; 其 次 ,是 否 存 在 一 个 字符 让, 其 输 人 长 座 为 实例 
输入 长 度 的 多 项 式 函 数 , 和 一 个 多 项 式 时 间 的 验证 算法 . 

由 多 项 式 转 换 ,NPC、NP-hard 等 的 定义 , 当 已 知 一 个 问题 为 
NPC 或 NP-hard, 再 遇 到 一 个 新 问题 时 ,只 志 已 知 问题 可 由 多 项 式 
归 药 为 新 间 题 , 则 知 新 间 题 是 NP-hard. 当 可 以 验证 新 间 题 是 属于 
NP 时 , 则 该 问题 属于 NPC. 由 此 可 知 ,研究 一 个 新 间 题 的 复杂 性 ， 
往 往 借 肪 于 已 知 问题 的 复杂 性 和 多 项 式 归 的. 通过 下 面 例子 可 以 
了 解 这 一 过 程 ， 

例 1.28 适 定 问题 是 NPC. 

证 明 可 所 文献 L14]- 口 

我 们 认为 恋 间 题 是 已 知 的 ,下面 基 一 种 比较 典型 的 研究 方法 ， 
如 果 可 能 的 话 , 将 适 定 问题 妇 约 到 所 研究 的 问题 . 问题 复杂 性 也 就 
由 此 而 得 到 . 

例 1.29 整数 线性 规划 的 判定 问题 属于 NPC、 
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按 例 1. 18 的 说 明 ,整数 线性 规划 的 判定 问题 类 伺 LP 的 判定 
问题 . 例 1. 22 证 明 LP 的 判定 问题 属于 NP ,整数 线性 规划 的 判定 
问题 是 LP 判定 问题 的 -- 个 子 类 , 故 知 整数 线性 规划 的 判定 问题 
属于 NP. 例 1.25 已 证 明 适 定 问 题 归 约 为 整数 线性 规划 的 判定 问 


题 ,所 以 ,整数 线性 规划 的 判定 问题 是 NPC. 器 
例 1.30 三 精确 狠 盖 属于 NPC. 
由 全 1.24 和 例 1.27 得 此 结论 . 口 ] 


例 1.31 背包 判定 问题 局 于 NPC. 

背包 问题 的 解 对 应 一 个 n 维 0-1 分 芷 的 向 量 , 于 是 ,很 易 验证 
属于 NP. 例 1.26 已 证 明 三 精确 覆盖 多 项 式 转换 为 背包 判定 问题 ， 
所 以 ,背包 判定 问题 属于 NPC. 口 


背包 判定 问题 的 一 个 特殊 情况 , 包 的 容积 玉 二 二 yc,, 此 时 ， 


对 应 一 类 新 的 问题 一 一 集合 划分 (partition) 问题 

给 定 整 数 c ,cs,-…,c, ,是否 存在 {1,2,… ,mn} 的 一 个 子 集 5S, 使 
得 3c 二 Dc? 

ES JJ 问号 

例 1.32 集合 划分 问题 是 NPC. 

因缘 包 问 题 属于 NP, 所 以 .集合 划分 问题 属于 NP. 例 1.31 已 
延明 背包 判定 问题 属于 NPC, 只 须 证 明 , 背包 问题 可 以 儿 项 式 转 
换 为 集合 划分 问题 . 

对 第 定 的 0-1 育 包 判定 问题 的 任何 一 个 实例 ,cco;*… sc,, 玉 ， 
构造 集合 分 划 问 题 的 实例 clyezy ycnrcori 一 2M .cars 二 3M 一 


2K, 其 中 ,MM 二 >)cj 人 > 玖 . 
了 一 1 


显然 ,这 个 映射 满足 定义 1.9 的 (1). 存在 (1,2,…,n) 的 子 集 
S, 使 得 >)c 一 天 的 充分 必要 条 件 是 存在 {1,2,…,n 十 2) 的 一 个 


ES 


子 集 S' 使 得 c= 二 》)c,. 下 面 证明 满 足 定义 1.9 的 (2). 
I 7 三 号 
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充分 性 : 由 于 5 型 一 ? 玉 全 村 一 >》 jc, 因 此 存在 {1 ,2,*… sn} 
7 了 
的 一 个 子 集 $ ,使 得 


> ci 十 ci+s 一 >») 十 cn+i。 C1.40) 
J 由 了 昨 四 ,7 二 共 十 1 十 2 
所 以 ,计算 上 式 可 得 >，ej 一 天. 
ry 
必要 性 : 由 (1.40), 令 5S 二 5 UU (fn 十 241, 得 结论 . [0] 


倒 1.4 装 箱 问题 的 判定 问题 可 以 叙述 为 :给 定义 及 nn 个 物品 ， 
物品 尺寸 为 0 之 如,bas*…*…; 嫩 所 1; 是 否 能 在 久 个 尺寸 为 1 的 箱子 中 
装 人 这 个 物品 ? 

例 1.33 淮 箱 判定 问题 是 NPC. 

装 箱 判定 问题 属于 NP 易 证 . 我 们 通过 集合 划分 问题 多 项 式 
转换 装 箱 判定 问题 而 证 明 结 论 . 由 例 1. 32 的 证 明 , 当 集合 划分 问 
题 的 所 有 整数 为 正 时 ,问题 还 是 NPC. 对 集合 划分 问题 的 任 一 实 
例 :2 个 下 整数 ccs cs， 酉 射 装 箱 问题 的 一 个 羯 定 实例 := 个 物 
品 的 尺寸 油 足 


一 2 ， 一 ] 2 六 

bar 

箱 子 尺寸 为 1 ,是否 能 在 两 个 箱子 内 装 完 所 有 物品 ?显然 上 面 的 观 

射 满足 定义 1.3 的 (1). 现 验证 满足 定 信 1.3 的 (2), 证 明 下 列 推 

上 断 : 存 在 站 ,2,… ,nn} 的 一 个 子 集 5 使 >1c 一 > 的 充分 必要 条 
了 交配 


b; 


JE 
件 是 可 在 两 个 尺寸 为 1 的 箱子 里 装 人 尺寸 为 
pp. 一 -2 ， 了 一: ] ,2 
ci 
的 个 物品 . | 


充分 性 ; 因为 5, 二 2, 则 每 个 箱子 都 无 空 陈 . 记 第 一 个 箱子 
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中 的 物品 集 为 S$, 及 Yc) 二 25 一 1. 


J 2 

必要 性 ; 明显 . 口 ] 

例 1.5 的 的 东 单机 排序 问题 对 应 的 判定 辣 题 是 :给 定 di,i 一 
ls2 ncnf 二 ],2,*… 和 了 ,在 模型 的 约束 条 人 忻 下 ;能 否 在 了 个 
工作 日 内 完成 个 产品 的 加 工 ? 

例 1.34 约束 单机 排序 的 判定 问题 是 NPC. 

约束 单机 排序 的 判定 问题 属于 NP 是 很 易 验 证 的 . 当 c(t 一 1， 
2,…) 全 部 相同 时 , 便 成 为 装 箱 问题 的 一 种 特殊 情况 ,因此 , 装 箱 
问题 就 多 项 式 转换 为 约 东 单机 排序 问题 的 这 一 特殊 情况 . 所 以 , 结 
论 成 立 . [DD 

由 于 NPC 里 包 会 很 多 著名 的 组 合 优 化 问题 ,经过 几 代 数学 家 
的 努力 ,迄今 没有 找到 多 项 式 时 间 算 法 ,人 人 们 猜想 :NPC 中 的 征 何 
一 个 问题 没有 和 多项式 时 间 算 法 ,; 即 P 门 NPC = 公 j. 

在 讨论 问题 复杂 人 狂 时 ,我们 -- 直 用 判定 问题 去 讨论 ,大 量 的 组 
合 最 优化 问题 都 有 日 标 函 数 ,这 -点 不 同 于 判定 问题 . 上面 的 讨论 
都 是 将 组 辣 优 化 问题 化 成 相应 的 判定 问题 ,它们 之 间 有 什么 关系 
呢 ? 

线性 规划 问题 (LP):; 判定 问题 (DP): 

mine'™y 给 定 整 数 >*, 是 否 有 
st A 
IT 计 0 

原 问 题 LP 同 判 定 问 题 DP 的 联系 是 z: 如 果 原 问题 可 以 求解 ， 
则 显而易见 地 回答 了 判 定 问 题 . 反 过 来 恕 何 ? 在 文献 [10] 中 ,通过 
对 线性 规划 基础 可行 解 每 一 个 分 量 界 ,目标 值 的 估计 ,得 到 结论 : 
LP 存在 多 项 式 时 间 最 优 算法 的 充分 必要 条 件 是 DP 存在 多 项 式 时 
间 最 优 算 法 . 两 者 之 间 的 联系 是 通过 对 目标 值 上 下 界 的 估计 ,在 存 
在 最 优 解 时 ,用 二 分 法 给 出 <, 并 通过 二 分 法 的 到 近 求 出 最 优 信 . 


IXIA hr 守 0) A 
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用 二 分 法 迁 代 的 次 数 是 实例 输入 长 度 的 多 项 式 畏 数 ,下面 给 出 严 
格 的 证 明 . 

性 质 1.2 假设 整 系数 线性 规划 有 两 个 基本 可行 解 刀 和 x*， 
并 上 且 对 某 一 个 整数 天 满足 

天 2 ceTrlerx K+ 1 “, 
其 中 ; 工 二 zx 十 mm 十 nn 十 logs|p1; 户 为 4,8,c 中 非 堆 分量 的 乘积 ， 
则 有 erx' 一 eTxi. 

证 明 友 证 车 cxzl 关 co ,由 性 质 1,1, 每 一 个 基本 可 行 解 分 
每 的 绝对 值 不 超过 2, 则 有 |e 一 cix:| 沪 2- 全 ,同性 质 1.2 的 假 
设 予 逢 . J 

考虑 区 和 间 [ 一 2*,2**] 内 的 整数 点 ,由 人 性质 1.1 所 有 基本 可 行 
解 对 应 的 目标 值 落 入 区 间 ( 一 绊 ,22) 内 ,此 时 只 要 民选 区 间 
[一 2,2*] 内 的 整数 点 ,性 质 1.2 的 条 件 满足 . 结合 性 质 1.1. 性 
质 1.2 和 区 间 [ 一 2 人 ,2 条 件 , 分 下 面 三 种 情况 讨论 . 

情况 1: 天 二 27,z 一 尺 2 -全 时 ,DP 是 一 个 “和 否 ” 实 钢 , 则 LP 无 
可 行 解 . 

情况 2: 五 一 一 32:z 一 天 2 全 时 ,DP 还 是 一 个 “是 *” 实例 , 则 
LP 无 下 界 . 

情况 3; 以 上 两 种 情况 都 不 满足 时 ,此 时 可 以 用 下 面 的 二 分 
算法 : 


二 分 算法 
pp—ua 


STEP] ae 一 一 2 站 一 2 下 一 5 一 Os 


STEP? 车 5 一 4 所] 时 停止 ,否则 z 一 天 2 工时 , 著 DP 为 * 是 ” 
实 请 , 则 = := ap :~ KK: 


车 DP 为 " 否 " 实例 时 , 则 a :一 天 六: 一 六 天 
复 STEP2. 


第 1 章 概论 47 


二 分 外 法 的 迁 代 次 数 为 log:25 1 一 4 工 十 1. 于 是 ,有 LP 和 
DP 复杂 性 的 关系 如 下 : 

定理 1.1 LP 有 和 多项式 时 间 最 优 算法 的 充分 必要 条 件 是 DP 
有 多项式 时 间 算 法 . 

证 明 必要 性 ; 当 LPE 存 在 -个 多 项 式 时 间 最 优 算法 时 , 则 
可 以 求解 LP 的 最 优 解 ,于 是 由 LP 这 个 多 项 式 时 间 算 法 加 上 例 
1.22 的 多 项 式 时 间 验 证 算法 就 构成 DP 的 多 项 式 时 间 算 法 . 

充分 性 : 若 DP 存 在 一 个 多 项 式 时 间 算 法 时 , 则 由 上 面 三 种 情 
况 的 讨论 ,得 到 LP 也 有 多 项 式 时 间 最 优 算法 . 口 

正 是 基于 这 一 点 ,建立 组 全 优化 问题 司 判 定 问题 的 关系 

组 合 优 化 问题 (OP)， 判定 问题 (RP)， 


minf (tx) 
§.t.g(X) 这 0 给 定 整 数 工 ,是 否 有 
rED {x | f(x Laer) 0rE D0 


对 于 优化 问题 ,车 其 判定 问题 是 NPC 或 NP-hard, 则 知 优 化 
问题 的 难度 不 低 于 判定 问题 ,此 时 , 称 组 合 优化 问题 为 NP-hard. 
算法 复杂 性 的 四 类 问题 美 系 可 用 示 章 图 1, 4 表示， 


图 1.4 算法 复杂 性 示意 图 


示意 图 1.4 表 示 P CNP,NPC CNP-hard,NP 与 NP-hard 的 
公共 部 分 为 NPC. 在 NP 中 , 除 P 和 NPC, 还 有 一 部 分 问题 的 复杂 
性 是 未 知 的 , 作为 本 节 的 结束 ,我 们 给 出 一 个 假设 . 员 说 这 个 假设 
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是 纽 合 优 化 癌 题 中 有 待 研究 的 一 个 热点 ,到 目前 为 止 , 大 家 一 般 都 
接受 这 个 假设 ! 

假设 PNP., 

按 NPC 的 定 文 容易 证 明 : 若 P 门 NEC 天 地, 周 NPC = P, 有 
关 算 法 及 复杂 性 的 理论 的 详细 讨论 ,可 以 参考 文献 [5]. 


1.6 小 结 


计算 复杂 性 查 论 是 组 合 最 优化 的 基础 .只 有 了 解 所 研究 问题 
的 蓝 杂 性 才 可 能 有 针对 性 地 设计 算法 ,才能 提高 工作 效率 ,起 到 事 
半 功 倍 的 作用 ， : 些 实际 应 用 人 员 往 往 忽 略 这 一 基础 工作 ,这 不 仅 
仅 是 因为 数学 的 难度 ,更 重要 的 是 一 种 观念 在 起 主导 作用 . 这 种 观 
念 是 ;无 论 解 的 效果 如 何 , 能 找 一 个 算法 或 比较 已 月 的 各 种 方法 求 
得 一 个 解 即 可 . 岂 这 一 章 的 讨论 ,这 对 NP-hard 问题 是 不 得 已 的 办 
法 . 应 该 注意 的 是 有 些 问 题 是 多 项 式 时 间 可 解 , 而 此 时 再 采用 这 样 
的 方法 势必 造成 解 的 效果 较 差 和 计算 时 间 的 浪费 . 一 个 多项式 时 
间 可 解 的 问题 一 般 不 必用 那些 求解 NP-hard 问题 的 启发 式 算法 ， 

本 书 的 后 续 章 节 将 介绍 目前 新 兴 的 全 局 优化 启发 式 算法 :村 
品 搜 索 , 模 拟 退 火 .、 人 遗传 算法 、 人 人 工 神经 两 络 和 用 于 估计 下 界 的 拉 
格 朗 日 松 疙 算法 .它们 主 变 用 于 求解 NP-hard 组 合 优 化 问题 , 对 于 
启 发 式 算 法 的 评价 、 最 坏 博 况 分 析 适 用 于 沸 较 简单 的 组 合 优 化 阿 
题 , 它 需要 较 深 厚 的 数学 基础 . 男 一 种 理论 分 析 方 法 是 概率 分 析 方 
法 ,同样 因为 较 深 的 数学 理论 和 研究 的 难度 ,使 得 这 一 方法 难以 推 
广 频 用 - 数值 计算 评价 的 方法 简单 , 易 行 ,易于 理解 和 有 和 较 好 的 说 
服 力 ,因此 得 到 研究 者 和 实际 应 用 者 的 广泛 使 用 . 
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练 习 题 


1 举例 说 明 秆 么 是 组 合 最 优化 问题 ?并 以 此 说 明 问 题 与 实例 
的 区 别 . 

2. 给 出 求解 下 列 每 一 个 问题 的 算法 , 在 每 一 个 问题 里 固定 输 
入 的 表示 * 即 给 出 它 的 一 个 例子 ,并 将 算法 所 需 时 间 的 上 界 表 示 为 
输入 长 度 的 函数 . 

(12 给 定 平 面 上 nn(> 2) 条 直线 fax 一 By 一 上 位 一 1 2 
,其 中 和 Bcli 二 124.0 yn) 为 整数 . 这 些 线 有 公 装 点 取 9 

(2) 给 定 一 个 整数 娟 , 声 是 素数 吗 ? 

(3) 给 定 二 个 整数 , 选 出 最 大 数 . 

《4 例 1.28 背包 问题 俩 焚 算 法 . 


3. 给 出 集合 PP 二 1zERI > az, 所 上 率 数 输入 长 讼 及 极 


点 输入 长 度 同 系数 输入 长 度 关系 的 估计 ,其 中 aj(j = 1 2, ,nn)， 
五 为 正 整 数 . 

4. 证 明 : 对 一 切 给 定 的 整数 万 守 2 和 > 0, 有 (dogn)! 一 
On) , ogh Ye = 口 (各 )， 

5. 了 和 2& 的 定义 如 下 

nm, 若 n 为 素数 ， x, 车 为 奇数 ， 

1 = (a 2 人 
下 述 娜 个 结论 对 ? 

(C1) 12》 一 加 人 (77， 

《227 8 — OC(Ff (1)), 

(3) fn) ,gn) = On'), 

(4) fin, gn) = O(n)., 

6. 判定 问题 “一 个 图 中 是 否 有 从 -- 个 起 点 经 过 至 少 -个 其 他 
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节点 以 后 再 加 到 这 个 起 点 的 一 个 圈 ?” 属于 P. 给 出 … 全 客 项 式 时 
间 的 算法 并 佑 计算 法 的 复杂 性 ， 

7. 证 明 ,表达 式 

人 ri 十] CE CE a) 1 二 a) 

不 是 适 定 的 . 

8. 证 明 : 若 存在 计算 全 1.8 的 TSP 判 定 阿 题 的 多 项 式 时间 算 
法 , 则 存在 求 TSP 最 优 路 径 的 多 项 式 时 则 算 法 . 

9. 给 出 一 个 山 901 背包 问题 (人 鲍 1.1) 到 -- 般 整数 背包 问题 
( 例 1.33) 的 多 项 式 转换 . 

10. 证 明 集 合 覆 盖 问 题 属 于 NPC, 集合 覆 羡 问题 为 :给 定 一 个 
mr XX 的 0-1 答 阵 4、 整 系数 (ey;cs,"… cs) 和 一 个 整数 天 ,是 否 存 在 


取信 为 0-1 的 变量 x 一 (zi,z2.… sz)7 ,使 得 Ax 之 1 目 了 lez) < 
K? 

11， 哈密 顿 (Hamilton) 问题 为 : 给 定 一 个 无 向 图 G = (N， 
瑟 ), 其 中 六 二 {1,2,…,n} 为 所 有 的 结 点 组 成 的 集合 , 巨 二 {Gi， 
站 ij E N) 为 边 集 合 ,是 否 存在 一 个 闭 圈 通过 所 有 结 点 正好 一 
次 ?假设 哈密 顿 问题 是 NPC ,证 明 ,， TSP 属于 NP_hard 问题 ， 

12., 证 明 : 


nn LJ 
max YY Dle,z, 


i=1 j=] 


s.t. Dx 一 1 YY 7 
4 一 1 
Dx, = 一 lsY¥ Ey 
j=1 


5 YY < 了 ， 


ey 7=1 


Ti (Ql FY | 


a 
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是 NP-hard 问题 . 

13. 我 们 - -再 强调 后 续 章 节 介 绍 的 禁忌 搜索 .模拟 退火 、 遗 传 
算法 和 人 工 神经 网 络 是 全 局 优化 算法 . 全 局 最 优 的 含义 是 件 么 ? 计 
算 复 杂 性 怎 拌 ?求解 组 会 优化 问题 的 最 优 解 所 付出 的 代价 是 秆 全? 

14. NP-hard 或 NPC 问题 的 每 一 个 实例 是 否 都 不 存在 多 项 式 
时 间 的 最 优 算 法 ? 
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第 2 章 
禁忌 搜索 算法 


禁忌 搜索 (tabu search) 算法 是 局 部 邻 域 搜索 算法 的 推广 ,是 
人 工 知 能 在 组 合 优 化 算法 中 的 一 个 成 功 应 用 .Glovert 在 1986 年 
首次 担 出 这 一 概念 ,进而 形成 一 赛 完 整 算法 , 详 见 文献 [2,3]. 禁 股 
委 索 算法 的 特点 是 采用 了 禁忌 技术 . 所 谓 禁 尼 就 是 禁止 重复 前 而 
的 工作 .为 了 回避 局 部 邻 域 搜索 陷入 局 部 最 优 的 主要 不 足 , 禁 尽 控 
索 算法 用 一 个 禁忌 表 记 录 下 已 经 到 达 过 的 局 部 最 优点 ,在 下 一 次 
搜索 中 ,利用 禁 有 鼠 表 中 的 信息 不 再 或 有 选择 地 搜索 这 些 点 ,以 此 来 
跑 出 局 部 最 优点 . 禁忌 搜索 算法 是 一 种 人 工 智能 的 算法 ,因此 ,有 
很 多 技术 的 细节 问题 有 待 下 面 讨 论 . 


2.1 局 部 搜索 


在 这 - - 章 中 , 除 桂 别 强调 外 ,我 们 都 假设 算法 用 以 解决 如 下 组 
合 最 优化 问题 : 
minf (x) 
s.t.g(x) > 0, 
人 三 品 . 
其 中 f(x) 为 目标 图 数 ,g(x) 为 约束 方程 ,DD 为 定义 域 . 
因为 禁 忌 搜索 算法 中 用 到 局 部 搜索 算法 ,我 们 首先 介绍 局 部 
搜索 算法 . 该 算法 可 以 简单 的 表示 为 : 
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局 部 搜索 算法 
STEP1 选 定 一 个 初始 可 行 解 刀 ; 记 录 当 前 最 优 解 ee” :一 x*, 今 
Po NCO)Y. 


STEP2 当 卫 二 他 时 ,或 满足 其 他 停止 运算 准则 时 ,输出 计算 结 
果 , 停 上 送 算 ; 否 则 ,从 N(x*) 中 选 一 集合 5, 得 到 SS 中 
的 最 优 解 x; 着 Xx ,网  : 一 x， 
忆 :二 N(x) 否则 ,了 := 了 一 5; 重复 STEP2. 


在 局 部 搜索 算法 中 ,STEP1 的 初始 可 行 解 选择 可 以 采用 随机 
的 方法 , 也 可 用 一 些 经 验 的 方法 或 是 其 他 算法 所 得 到 的 解 . 
STEP2 中 的 集合 S 选取 可 以 大 到 是 we” 本 身 , 也 可 以 小 到 上 只 
有 一 个 元 素 , 如 用 随机 的 方法 在 和 NCx*) 中 选 一 点 , 从 直观 可 以 看 
出 ,S 选取 得 小 将 使 每 一 步 的 计算 量 减 少 ,但 可 比较 的 范围 很 小 ;5 
选取 大 时 每 一 步 计算 时 间 增 加 ,比较 的 范围 自然 增加 . 这 两 种 情况 
的 应 用 效果 依赖 于 实际 问题 . 在 STEP2 中 ,其 他 停止 准则 是 和 除 
STEP2 的 P= 他 以 外 的 其 他 准则 . 这 些 准 则 的 给 出 往往 取决 于 人 
们 对 算法 的 计算 时 间 、 计 算 结果 的 要 求 . 通过 下 面 的 例子 来 理解 局 
部 搜索 算法 . 

例 2.1 5 个 城市 的 对 称 TSP 数据 
如 图 2. 1. 

对 应 的 历 离 矩阵 鸭 

[2 10 15 #6 


| li3 20 0 3 


_2 9 Is 5 
图 2.1 五 城市 TSP 


初始 解 为 x 一 (4BCDE) ,Fax 二 45. 在 本 移 中 ,分 域 映 
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射 定义 为 对 措 两 个 城市 位 置 的 2-opt, 选 定 4 城市 为 起 点 ,我 们 用 
两 种 情况 解释 局 部 搜索 算法 . 

情况 ] 全 邻 域 搜 索 , 即 3 :一 和 Cr) 

第 -循环 : Nx) 二 {CABCDE), (ACBDE), (ADCBE), 
(AECDB), (CABDCE), CABEDCY, (ABCED)Y} ,对 应 日 标 函 数 
值 为 :f(x) 一 145，43，45，60，60，59，44}， 

XO 4" = CACBDE). 

第 二 循环 : N(x 二 {CACBDE), (CABCDE), CADBCE), 
‘AEBDC}, CACDBE)}, (ACEDB), (ACBED)}) ,对 应 目标 函数 
值 汐 :7x) 一 (143, 45,， 44, 59,，59，58, 43} 


Wt :二 XxX"™ 一 (CACBDEY. 
此 时 ,P 一 N(x") 一 5 为 空 集 , 于 是 所 得 解 为 (ADCBE), 目 
标 值 为 43. 


情况 2 一步 随机 搜索 . 

xr CO— CABCDE), f(r™") ~ 45 

第 一 循环 : 由 于 采用 NCx™') 中 的 一 步 随 机 搜索 ,可 以 不 再 计 
算 Ntz 中 每 一 点 的 值 . 若 从 中 随机 选 一 点 ， 如 x 一 
CACBDE). 因 Fe 一 43 拓 45 ,所 以 rm :一 (ACBDE). 

第 二 循环 : 若 从 Ne 中 又 随机 选 一 点 x 一 CADBCE)， 
f(x) = 44 > 43.P = NX) 一 
tx” }, 最 后 得 到 的 解 为 (ACBDE). 

国 | 

局 部 搜索 算法 的 优点 是 简单 易 
行 ,容易 理解 ,但 其 扇 点 是 无 法 保证 
全 局 最 优 性 . 

例 2.2 四 城市 非 对 称 TSP 如 
图 2. 2. 


图 2.2 四 城市 TSP 
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不 离 烘 阵 为 
0 


D= (d,) = ] 
11.5 
1 1 
车 初始 解 为 xes = 二 (ABCD) 并 和 且 很 设 城市 A 为 起 始点 ， 
fx™) ~ d. 
邻 域 N(x™) 二 {CABCD)Y, CACBD), (ADCB), CABDC)} 
中 ,局 部 最 优 解 是 (ABCDY. 读者 可 以 按 例 2. 1 局 部 搜索 讨论 的 两 
种 情况 进行 验证 ,该 算法 终止 时 的 解 是 局 部 最 优 解 (4BCD). 而 全 
局 最 优 解 是 x 二 CACDB), f(x) 一 3.5. 口 
改变 局 部 搜索 中 只 按 下 降 规 则 转移 状态 的 一 个 方法 是 蒙特 卡 
岁 CMonte Carlo) 方法 ,主要 变化 是 局 部 搜索 算法 的 第 二 步 为 ， 


tm 总 王 
下 
一 


蒙特 卡 罗 算 法 

STEP2 ” 当 满 足 停止 运算 准则 时 ,停止 运算 ;否则 ,从 N(x”) 中 
随机 选 一 点 x; 车 了 (x) < (x) ,网 二 :二 re 
和 否则, 根据 fCe™) 一 f(z) 以 一 定 的 概率 接受 
Mo (ae 一 返 辐 STEP2. 


蒙特 卡 罗 算 法 是 以 一 定 的 概率 扶 受 一 个 较 坏 的 状态 ,如 以 均 
名 的 概率 
1 
z 和 {IN Cx | 
从 六 Cx”) 中 选任 意 一 -点 ,以 概率 
P= min {1,exp{ 7 元 fx™) } | 


接受 x”. 模拟 退火 算法 就 是 采用 这 样 的 搜索 方法 ,有 关 的 性 质 将 
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在 第 3 章 中 讨论 , 这 样 可 能 遍历 所 有 的 状态 . 不 同 于 蒙特 卡 罗 随 机 
搜索 算法 的 思想 , 禁 灵 搜索 则 是 用 确定 性 的 方法 味 出 局 部 最 优 和解 . 


2.2 禁忌 搜索 


禁忌 搜索 是 -种 人 人工 智能 算法 ,是 局 部 搜索 算法 的 扩展 , 它 的 
一 个 重要 思想 是 标记 已 得 到 的 局 部 最 统 解 ,并 在 进一步 的 迁 代 中 
避 开 这 些 局 部 最 优 解 . 如 何 避 开 和 记忆 这 些 点 是 本 章 主 要 讨论 的 
问题 ,首先 ,用 一 个 示例 来 理解 禁忌 搜索 算法 . 

例 2.3 ( 例 2.2 续 ) 假设 ; 初始 解 x* 二 C48SCDP) ,分 城 映 射 为 
两 个 城市 位 置 对 换 , 始终 点 都 为 4 城市 . 日 标 值 为 Aixe) 一 4. 城市 
间 的 距离 为 ; 


0 1 0.5 1 
p=d»=1 ?7 1 
1.5 5 0 1 
1 11 0 
第 1 步 ， 
解 的 形式 禁忌 对 象 及 长 矢 候选 集 
B Cc D 对 换 评价 值 
141B[cID| | CD | 5 交 
B | BC| 7.5 
xz》 一 4 B,D | 8 


此 处 评价 此 为 有 标 值 . 由 于 假设 也 城市 为 起 终点 , 故 候选 集 
中 最 多 有 两 两 城市 对 换 对 3 个 . 分 别 对 换 城市 顺序 并 按 目 标 值 由 
小 到 大 排列 ,三 个 评价 值 都 劣 于 原作 ,在原 有 的 局 部 搜索 算法 中 ， 
此 时 已 达到 局 部 最 纺 解 而 停止 . 但 现在 ,我 们 人 允许 从 候选 集中 选 一 
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个 最 好 的 对 换 一 一 CD 城市 的 位 置 交换 ,用 诀 标记 人 和 人选 的 对 换 . 此 
时 , 解 雁 CA4BCD) 变化 为 (4BDC), 目 标 值 上 升 ,但 此 法 可 能 姚 册 
局 部 最 优 . 


第 2 步 : 
解 的 形式 禁忌 对 象 及 氏 度 候选 集 
B CC DD 对 换 评价 值 
FE “GD 
B 
fx) 一 4.5 C 13 4.5T | 


由 于 第 1 步 中 选择 了 CD 交换 ,于 是 ,我 们 希望 这 样 的 交换 在 
下 面 的 车 于 次 磷 代 中 不 再 出 现 , 以 避免 计算 中 的 循环 ,CD 成 为 禁 
咏 对 象 开 限定 在 3 次 交代 计算 中 不 对 许 CD 或 DC 对 换 , 在 对 应 位 
置 记录 3. 在 N(x) 中 又 出 现 被 禁忌 的 CD 对 换 , 故 用 工 标 记 而 不 
选 此 交换 . 在 选择 最 佳 的 候选 对 换 后 ,到 第 3 步 . 


第 3 步 ， 
解 的 形式 禁忌 对 象 及 长 度 候选 集 
BC DD 对 换 评价 值 
四 加 四 四 4| | | 5T 
B| 3 | B,D | 7.5 友 | 
f(x) 一 3.5 C Lz) CD| sT 


新 选 的 BC 对 换 被 禁 后 ,CD 在 被 禁 一 次 后 还 有 二 次 禁忌 . 昌 
说 候选 集中 的 评价 值 都 变 坏 ,但 为 达到 全 局 最 优 ,还 是 从 中 选取 . 
由 于 BC 和 CD 对 换 被 禁 , 只 有 BD 对 换 入 选 . 
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第 4 步 : 
解 的 形式 禁忌 对 每 及 长 讼 候选 集 
B ©C D 对 换 “评价 值 
aT [| [Dla 
B| 2 |a BC | 4.5T 
f(r) 一 了 .5 C 11 CD | 4.5T 
此 时 ,所 有 候选 对 换 祯 禁 ,怎么 办 ? 口 


通过 这 一 个 示例 ,我 们 会 产生 如 下 问题 : 

" 本 例 禁 有 如 对 象 是 对 搞 ,如 BC 对 换 造 成 4BCD 到 ACBD 的 
变化 ,禁忌 BC 对 换 包 括 如 下 城市 间 顺 序 的 对 换 :4CBDD 到 
ABCD.ABCDP 到 ACBD.ADBC 到 ADCB.ADCB 到 
ADBC.ABDC 到 4CDB.ACDB 到 ABDC 等 的 变化 . 若 
ACBD 是 刚才 由 48CD 变化 而 来 的 ,结合 解 的 变化 ,禁忌 
ACBD 到 ABCD 和 ABCD 到 ACDB 的 变化 是 可 以 接受 的 . 
但 对 其 他 变化 的 禁忌 是 否 会 影响 求解 的 效率 ?如 ADBC 到 
AADCB 是 否 介 许 ? 

这 一 个 问题 说 明 禁 忌 对 每 是 禁忌 算法 中 一 个 基本 的 因素 . 

* 禁忌 的 次 数 如 何 选 取 ? 若 在 例 2.3 中 将 禁忌 次 数 从 3 更 改 为 


2, 则 有 下 列 情形 : 
例 2.4 
第 4 步 : 
解 的 形式 禁忌 对 象 及 长 度 。 ”候选 集 


BB 0C DD 对 换 评价 值 


AlClBlp} 4 于 
召 1 |2 


FF(xa) = 7.5 C 10 
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第 5 4 
解 的 形式 i 候选 集 
对 换 ”评价 值 
[4|lplalc| B.D| 45T | 
‘GE CD| 7.5T 
fx) = 4.5 1 BC) 8 站 
再 迭代 一步 ,又 回 到 状态 C4BCD), 此 时 出 现 循环 . [L] 


出 例 2.3 和 例 2.4 的 计算 可 以 看 出 ,禁忌 搜索 算法 是 局 部 搜 
索 算法 的 变形 . 应 该 注意 到 禁忌 搜索 算法 计算 中 的 关键 点 :禁忌 对 
象 长 度 和 候选 集成 为 算法 的 主要 特征 . 围绕 这 些 特 征 需要 考 虚 下 
列 因素 ， 

《1》 基 理 有 其 他 形式 的 侯 选 集 ?7 上面 的 例子 是 将 所 有 可 对 换 
的 城市 对 作为 候选 集 , 再 从 候选 集中 没有 被 禁 的 对 换 对 中 和 返 最 佳 . 
对 个 城市 的 TSP ,这样 构 造 收 选 集 使 得 每 个 集中 有 C2_, 个 交换 
对 . 为 了 节省 每 一 步 的 计算 时 间 , 有 可 能 只 在 分 域 中 随机 选 一 些 对 
换 , 而 不 一 定 是 比较 邻 域 中 的 所 有 对 换 . 

《2) 禁 思 的 长 度 如 何 确定 ?如 果 在 算法 中 记忆 下 搜索 到 的 当 
前 最 优 解 , 极 端的 两 神情 况 是 ;一 是 将 所 有 的 对 换个 数 作 为 禁忌 长 
度 , 此 时 等 价 二 将 候选 集中 的 所 有 的 对 换 遍 历 ; 男 外 则 取 为 1, 这 
等 价 于 局 部 搜索 算法 . 

(3) 是 否 有 评价 值 的 其 他 替代 形式 ?上 面 例 中 用 目标 值 作为 
评价 秆 .有 时 计算 日 标 值 的 工作 量 较 大 ,或 无 法 接受 计算 目标 值 所 
花费 的 时 间 , 于 是 需要 其 他 的 方法 . 

(4) 外 禁 的 对 换 能 否 再 ~ 次 解禁 ?如 在 例 2. 3 的 第 4 步 中 ,外 
选集 中 的 交换 都 被 禁忌 , 若 此 时 停止 ,得 到 的 解 甚至 不 是 一 个 局 部 
最 优 解 . 候选 集中 BD 对 换 的 评价 值 最 小 ,是 否 不 考虑 对 BD 的 禁 
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辟 而 选择 这 个 对 换 ? 有 这 样 的 直观 现象 . 当 搜 索 到 一 个 局 部 最 优 解 
后 ; 它 邻 域 中 的 共 他 状态 都 被 禁 , 我 们 是 否 解 禁 一 些 状态 以 便 跳出 
局 部 最 优 ? 解 禁 的 功能 就 是 为 了 获得 更 大 的 搜索 范围 , 议 免 陷 人 局 
部 最 优 . 

《5》 如 何 利 用 更 多 的 信息 ?在 禁忌 搜索 算法 中 ,还 可 记录 其 他 
一 些 信息 . 如 一 个 被 禁 对 象 ( 交 换 ) 被 禁 的 次 数 , 评 价值 变化 的 大 
小 等 .如 果 在 例 2.3 中 记忆 同一 个 对 换 出 现 的 此 数 ,我 们 可 以 得 到 
如 下 的 一 个 有 关 禁 有 尽 对 象 的 信息 ， 


X 
5 
2 


其 中 ,和 矩阵 右上 角 记 录 禁 忌 的 长 度 , 撼 阵 的 左下 角 部 分 出 现 的 
数据 表示 对 换 被 选 为 最 佳 的 次 数 .B8 与 C 对 应 5 表示 BC 交换 5 次 
成 为 最 佳 候选 . 这 些 数字 提供 了 状态 出 现 的 频率 ,反映 解 的 一 些 性 
质 ， 

(6) 终 正 原则 , 即 一 个 算法 停止 的 和 条件, 怎样 给 出 ? 

综合 上 面 的 讨论 ,禁忌 算 法 的 特征 由 禁忌 对 象 和 长 讼 、 候 选集 
和 评价 郴 数 、 停 下 规则 和 一 些 计 算 信 息 组 成 , 禁忌 表 特 别 指 禁 已 对 
象 及 其 被 禁 的 长 度 . 禁忌 对 象 是 指 变化 的 状态 ,如 上 面 例子 中 的 两 
个 城市 的 对 换 . 候选 集 中 的 元 素 依 评价 函数 而 确定 ,根据 评价 函数 
的 优 劣 选择 一 个 可 能 蔡 代 被 禁 对 象 的 元 素 , 是 否 替 代 取 决 于 禁忌 
的 规则 和 其 他 一 些 特殊 规则 ,在 后 续 部 和 分 将 介绍 一 个 特殊 规则 
一 一 特 数 原则 . 计算 中 的 一 些 信息 ,如 被 禁 对 象 对 应 的 评价 值 ,被 
禁 的 频率 等 ,将 对 楚 鼠 的 长 度 和 停止 规则 提供 帮助 . 
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禁忌 搜索 算法 

STEP1 ” 选 定 一 个 新 始 解 x 及 给 以 禁忌 表 晶 二 四 | 

STEP2 蔡 满 足 停 止 规 则 , 传 止 计算 ;否则 ,在 x” 的 邻 域 N(H， 
fr) 中 选 出 满足 蔡 尽 要 求 的 候选 集 Can- NGCx 5 在 
Can. Nix”™) 中 选 一 个 评价 草 最 佳 的 解 zx"™ :一 
x ;时 新 历 宝 记录 态 , 重 复 STEP 2. 


禁 居 算法 的 STEP2 中 ,x 的 邻 域 NN( 互 ,x"”™) 中 满 是 禁 有 妃 莫 
求 的 元 素 包 含 两 类 ; - :类 是 那些 没有 被 禁忌 前 元 素 , 另 一 类 是 可 
以 被 解除 禁 如 的 元 袁 . 详细 的 技术 问题 将 在 第 2. 3 节 讨 论 . 

比较 局 部 搜索 算法 .蒙特 卡 罗 算 法 和 禁 妇 搜索 算法 ,它们 的 主 
要 区 别 是 第 一 步 对 接受 点 选择 的 原则 不 同 . 为 了 给 出 禁忌 搜索 算 
法 的 全 局 最 优 定 理 , 先 介绍 连通 的 概念 

定义 2.1 集合 忆 称 为 相对 分 域 映射 N:.xEC 一 二 连通 
的 , 阁 对 忆 中 的 任意 两 点 x,y, 存 在 x 一 2aixzo 二 ,使 得 
Nr) MN NOGA A = 1200u C1. 

定理 2.1 (最 优 定理 在 禁忌 搜索 算法 中 ,车 可 行 解 区 域 相 
对 Can- N(x”™) 是 连通 的 , 且 五 的 记录 充分 大 , 则 一 定 可 以 达到 
全 局 最 优 解 . 

证 明 非 常 直观 . 量 说 从 理论 上 保证 全 局 最 优 ,但 若 使 得 五 的 
记录 充分 大 ,也 就 是 浪 历 所 有 的 状态 ,这 不 是 我 们 希望 的 . 我 们 的 
期 望 是 用 更 少 的 花费 得 到 我 们 期 望 的 解 . 


2.3 技术 问题 


禁忌 搜索 算法 是 一 种 人 工 智 能 算法 ,因此 ,实现 的 技术 问题 是 
算法 的 关键 -本 池 按 禁 尽 对 象 . 候 选集 合 的 构成 .评价 函数 的 构造 、 
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特赦 规则 .记忆 频率 信息 和 终止 规则 等 分 别 给 予 介 绍 和 讨论 . 
2.3.1 禁忌 对 象 .长 度 与 候选 集 


禁 忆 表 中 的 两 个 主要 指标 是 禁忌 对 象 和 禁忌 长 度 . 顾名思义 ， 
禁 尽 对 蒙 指 的 是 禁 鼠 表 中 被 禁 的 那些 变化 元 素 , 因此 首先 需要 了 
解 状态 是 怎样 变化 的 . 我 们 将 状态 的 变化 分 为 解 的 简单 变化 , 解 向 
其 分 量 的 变化 和 目标 值 变 化 三 种 情况 . 在 这 三 种 变化 的 基础 上 , 讨 
论 禁 忌 对 象 . 本 小 节 同 时 介绍 禁 鼠 长 度 和 候选 集 确定 的 经 验方 法 . 
1. 解 的 简单 变化 
这 种 变化 最 为 简单 . 假设 x,y E 万, 其 中 了 为 优化 问题 的 定义 
域 , 则 简单 解 变化 为 
Ty 
是 从 一 个 解 变化 到 另 一 个 解 . 这 种 变化 在 局 部 搜索 算法 中 经 常 采 
用 ,如 例 2.1 第 一 循环 中 从 CABCDE) 变化 到 CACBDE). 这 种 变 
化 将 问题 的 解 厦 成 变化 最 基本 因素 . 
32. 向 量 分 量 的 变化 
这 种 变化 考虑 的 更 为 精细 ,以 解 向 量 的 每 一 个 分 量 为 变化 的 
最 基本 因素 . 仅 以 C4BCDE) 变化 到 (4CBDE) 为 例 , 它 的 变化 实 
际 是 和 由 五 和 CC 的 对 换 引 起 .但 号 和 C 对 换 可 以 引起 更 多 解 的 简单 
变化 ,加 
CABCDE) ~ (CACBDE), 
CABDCE)} —» CACDEE), 
(ACBED) —» (ABCED), 
等 . 设 原 有 的 解 向 量 为 (Ti ,X15zi ,Ty1，"…' ;4,) ,用 数学 表达 式 
来 描述 向 量 分 量 的 最 基本 变化 为 : 
CR TT TT) CT TT), 
即 只 有 第 i 个 分 量 发 生变 化. 向 量 的 分 量变 化 包含 多 个 分 量 发 生 
变化 的 情形 . 
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部 分 优化 问题 的 解 可 以 用 -个 笛 量 形式 关 一 (zyTayeeyo) 
E {0,1)" 表示 . 解 与 解 之 间 的 空 化 可 以 表示 某 些 分 若 的 变化 ,如 
用 分 量 从 Zz, 二 0 变化 为 zj; 二] 或 从 = 二 1 变化 为 zi 二 0, 或 是 两 
者 的 结合 . 可 以 通过 下 而 两 个 例子 理解 . 
例 3.5 例 1.1 的 0-1 背 包间 题 的 状态 变化 是 向 量 分 量变 化 
形式 . 如 果 每 次 上 只 人 允许 一 个 变 基 变化, 即 ,N.xYED-> N(xr) 一 


D| 忆 ly 一 z| 过 1} E 25, 则 变化 的 变量 只 可 能 由 z= 0 变化 为 


81 二 1 或 由 Xx, 王 1 变化 为 y= 0. 此 时 ,状态 变化 的 情况 是 一 个 变 
量 zj 一 0 变化 为 + 二 1 或 一 个 变量 zx 一 1 奈 化 为 zx = 二 0. 

例 2.6 TSP 问题 采用 例 i. 28 的 2-op! 位 置 交 换 规 则 . 以 例 
2. 2 的 四 城市 TSP 数据 为 例 . 当 一 个 解 为 (4BCD) 时 ,两 个 城市 
BD 的 交换 可 以 理解 为 :用 一 个 {0,1}"*"-? 的 向 量 表 未 解 , 则 (zua 
二 1,Xac 二 1 ,Xep 二 1;yXpa 三 1), 其 他 分 量 为 零 ; 城 市 BD 的 交 模 为 
Xan 一 1 zpc = lxes = ,xga = 1)》，, 其 他 分 量 为 零 ! 分 量 的 变化 
是 :由 Xan 二 1 变 北 为 za 一 0,zgc 二 1 变 屁 为 xgc 二 0,zcp 一 1 变 
化 为 rcp Dr 二 1 变化 为 zpa 一 Dszaw 一 上 0 恋 化 为 zp = 二 1 ,pe 
二 0 赛 化 为 roc 二 lrcs 一 0 变化 为 Tcs 一 1,xs4 = 0 变化 为 xaa 
三 1. 寺 是 ,一 个 2-opt 交换 共 需 8 个 分 量 发 生 蛮 化 ,这 种 情况 归 类 
于 多 个 分 量变 化 的 结合 . 

3. 目标 值 变 化 

在 优化 问题 的 求解 过 程 中 ,我 们 非常 美 心目 标 值 是 否 发 生变 
化 , 是 否 接 近 最 优 目 标 值 . 这 就 产生 一 种 观察 状态 变化 的 方式 ; 观 
察 目标 值 或 评价 值 的 变化 . 就 犹如 等 位 线 的 道理 一 样 ,把 处 在 同一 
等 位 线 的 解 视 为 相同 . 这 种 变化 是 考察 

Hla) = {x € DIfA(x) = a}, 

其 中 ,f(x) 为 目标 函数 . 它 的 表面 是 两 个 自 标 值 的 变化 , 即 从 a -> 
5, 但 隐 含 着 两 个 解 集 合 的 各 种 次 化 YE 日 (ea) 一 VYyE (8) 的 
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可 能 . 
例 2.7 考虑 目标 沙 数 f(x) 一 六 的 目标 值 从 1 变化 到 4, 这 
里 有 隐 仿 着 解 空 间 中 四 个 变化 的 可 能 
- 1 工 一 一 2,1 一 一 2, 一 1 一 2,1-2， 口 ] 
以 上 三 种 状态 变化 的 情形 ,第 一 种 的 变化 比较 单 -- ,而 第 一 
和 第 二 种 变化 则 隐 含 着 多 个 解 变化 的 可 能 . 因此 在 选择 禁忌 对 象 
时 ,可 以 根据 实际 问题 采用 适当 的 变化 . 
4. 禁忌 对 象 的 选取 
徙 上 面 关 寺 状 态 蛮 化 三 种 形式 的 讨论 , 禁 妃 的 对 象 就 可 以 是 
在 面 的 任何 一 种 . 现 用 示例 米 分 别 理 解 . 第 一 种 情况 考虑 解 为 简单 
变化 , 当 解 从 Xx-*y 时 ,y 可 能 是 局 部 最 优 解 ,为 了 如 开局 部 最 优 
解 , 禁忌 y 这 一 个 解 再 度 出 现 . 禁 鼠 的 规则 是 : 当 ? 了 的 亏 城 中 有 上 比 
它 更 优 的 点 时 , 则 选择 更 优 的 解 ; 当 y》 为 N(y) 的 局 部 最 优 时 ,不 再 
选 ,而 选 拌 比 y 较 差 的 解 . 见 机 2. 8. 
例 2.8 ( 例 2.1 续 ) 五 城市 TSP 的 距离 矩阵 为 
10 10 15 6 2 
10 0 8 13 9 
D=(d)= 15 8 0 20 15|， 
6 13 20 0 5 
| 9 15 5 0 
禁忌 对 象 为 简单 的 解 安 化 . 禁 有 鼠 表 五 只 记忆 三 个 签 楚 的 解 ， 
妈 禁 忆 长 度 为 3. 从 2-opt 邻 域 NCH ,x ) 中 选 出 最 佳 的 五 不 解 组 
成 候选 集 Can_ NGr™); 初 始 解 x 一 x" 二 (ABCDE), f(x') = 
45. 
第 1 步 
xX = (ABCDE), /CX™") = 45,H = ,Can_ Nr™) 一 
{CABCDE 345), CACBDE;43), (ADCBE;45), CABEDGC ,59), 
(ABCED ;44)} re — CACBDE). 
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由 于 再 为 室 集 ,从 组 选 集中 选 最 好 的 一 个 . 

第 2 步 

x — (ACBDEY, f(x™) ~ 43,D = {(ACBDE ;43)), 

Can NCO¥™) = {CACBDE,;,43), (ACBED;,43), (ADBCE, 
44), CABCDE ,45), CACEDB ,58)}, 

由 于 CACBDE) 受 禁 ,所 以 选 x 一 (ACBED). 

第 3 步 

Tv” = (ACBED), fxr") 一 43,H = {CACBDE,;43), 
(ACBED,;43)} ， 

Can_ N(x™) = {((ACBED;43), CACBDE;,43), (ABCED;, 
44), CAEBCD,45), CADBEC ;58)). 

由 于 瑟 == 1(4CBDE;43),(ACBED;43)} 受 禁 ,所 以 选 I" 
— (ABCED). 

第 4 步 

xX" = (ABCED), f(x"™) 一 44， 

HH= {(ACBDE;43), (ACBED;43) ,CABCED;44)}, 

Can_ N(x™) = {ACBED;43), CAECBD,44), (CABCDE., 
45), CABCED;44), (ABDEC ,58)}, 

x 一 AECBD). 此 时 五 已 达 3 个 解 , 新 选 入 的 解 要 替代 出 
最 早 被 禁 的 解 . 

第 5 步 

I™ = (AECBD), f(x™) = 44, 

H= (ACBED;4), CABCED;,44), (AECBD,44)}, 

Can N(x"™) = {(AEDBC;43), CABCED,;,44), (AECBD, 
44), CAECDB ;44), (AEBCD; 45)}. 

rx"™ = (AEDBC). 口 

如 果 禁 鼠 第 2 种 变化 , 则 观察 下 例 . 

例 29 《〈 例 2.8 续 ) 数据 同 例 2. 8. 互 只 记 筷 三 对 对 换 时 ,从 
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2-opt 分 域 N(CH x"™) 一 {x"”} 中 选 出 最 佳 的 五 个 状态 对 应 的 奖 
换 对 组 上 成 候选 集 Can- NCe"™), 这 一 点 不 同 于 例 2. 8, 因 为 受 禁 的 
是 交换 对 , 因此 不 考虑 没有 变化 的 x"". 初始 和 解 I" 二 x? 二 
(CABCDE), f(x) — 45. 

第 ] 步 

To 一 (4BCDE) f(x™) = 45,H = ,Can_ N(x"™) 一 
i(ACBDE;43), CADCBE;45), (AECDB;60), CABEDC,;39), 
(ABCED;44)} ,x = CACBDE). 

由 于 "二 为 空 集 ,从 息 选 集中 选 最 好 的 一 个 , 它 是 B 与 CC 的 对 
换 构 成 . 

第 2 步 

x = (ACBDE) f(x"™) = 43,H = {(B,O)}, 

Can (ze = {(ACBED;43), (ADBCE,44), (ABCDE.; 
45) ,CACEDB ,58) , (AEBDC ,59)}, 

选 一 (ACBED). 它 是 了 吃 和 玉 对 换 . 

第 3 步 

We Oo— (ACBED), ar) = 43.H = {(B,O) ,DE)), 

Can_ N(x™) = {CACBDE;,43), CABCED;44), CAEBCD, 
45), (ADBEC;58), (ACEBD,;58)}. 

由 于 吾 一 (BC DB 爱 禁 ,所 以 选 x" 二 (AEBCD). 

前 两 步 计算 同 例 2.8 的 前 两 步 相 同 ,但 第 3 步 同 例 2.8 的 第 3 
步 不 同 . 因为 根据 禁 总 表 中 的 条 件 ,禁忌 选取 由 (ACBED) 经 BC 
对 换 后 的 解 (4BCED). 由 此 看 出 禁忌 对 摸 的 范围 要 大 于 例 2.8 只 
对 简单 解禁 鼠 的 范围 . 口 

例 2.9 的 邻 域 定义 和 禁忌 决定 了 : 当 一 对 元 素 上 和 > 被 禁忌 
后 ,包含 两 个 元 素 的 两 种 对 换 工 与 ?交接 和 3? 与 工交 换 , 如 禁 刀 吾 
和 蕊 对 换 后 ,禁忌 己 与 吾 对 换 和 BB 与 C 对 换 . 禁忌 CC 与 B 对 换 的 
出 发 点 是 :上 一 步 已 经 对 换 的 两 个 元 素 不 能 答对 换 回 去 ,以 免 还 原 
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到 原 有 的 解 .还 以 例 2.9 为 合 , 假 设 在 鲍 2.9 问题 中 , 某 一 步 得 到 
解 为 CABCDE), 迁 代 - 步 得 到 x 一 CACEBDE) 时 ,此 时 ,应 该 者 
虑 禁忌 CC 与 如 的 对 换 , 和 否则 ,可 能 回 到 (4BCDF), 禁 妓 旦 与 捷 对 换 
的 出 发 点 是 ; 上 一步 己 经 对 了 与 C 的 对 换 进 行 了 分 析 和 评价 , 希 
望 搜索 有 较 大 的 饥 历 性 ,因此 我 们 不 开 考 虑 如 与 C 的 对 换 , 即 禁忌 
这 个 对 斤 . 

在 有 些 情况 下 , 蝎 幼 地 将 一 对 元 素 工 和 的 对 换 分 成 x 与 y 对 
换 竹 y 与 工 对 换 两 种 情形 , 邮 考 虑 对 换 的 廊 向 .因此 ,我 们 可 以 败 
碟 只 禁 有 最 一 个 方向 的 对 换 , 如 与 y 的 对 换 或 与 工 的 对 换 ， 

例 2.10 《 例 2.9 续 ) 以 第 三 种 日 标 值 的 变化 情形 来 继续 观 
察 例 2.9. 开 只 记忆 三 组 元 素 ( 解 及 其 自 标 值 ), 从 2-opt 邻 域 
AN (ZE:xz 中 选 出 最 佳 的 五 个 元 案 为 侯 选 集 Can- N(x"") ;在 
Can- NCx"™™) 中 选 一 个 县 标 值 最 佳 的 解 xr”. 初始 解 ie 一 x" 一 
CABCDEYf(xX) = 45. 

第 1 步 

x = (ABCDED, fr™) = 45,H = 10, 

Can. Nix™™) = (CABCDE;45), (ACBDE;43), CADCBE., 
45), CABEDC ,59), CABCED; 44)}, 

x = (ACBDE). 

由 于 五 为 空 集 , 从 候选 集中 选 最 好 的 一 个 . 

第 2 步 

x = (ACBDEY, fr™) 一 49) 五 一 1431， 

Can. Ne) = {CACBDE;43), (ACBED;,43), (ADBCE, 
44), CABCDE ;45), CACEDB ,58)}, 

x = (ADBCE). 

由 于 请 数值 43 受 禁 ,选修 选 集中 不 受 禁 的 最 佳 函 数值 44 的 
状态 . 

在 此 例 中 ,采用 禁忌 目标 值 的 方法 所 禁 有 的 范围 比例 2.8 和 
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例 2.9 的 受 禁 范围 更 大 ,这 在 这 -- 例 中 明 最 地 栖 现 . 口 ] 

所 谓 禁 辟 就 是 禁止 重复 前 面 达 到 局 部 最 优 的 状态 .由 于 计算 
过 得 中 解 的 状态 在 不 断 地 变 作 ,办 此 我 们 对 造成 状态 的 变 作 的 对 
象 进行 禁忌 . 上 面 已 经 讨论 ,状态 挛 化 的 主要 因素 归结 三 种 形式 ， 
简单 的 解 的 变化 , 解 疝 量 的 分 量变 化 和 目标 值 的 变化 ， 

针对 三 种 不 网 的 状态 变化 方式 , 例 2.8. 例 23 和 例 2.10 体 现 
了 禁 鼠 搜索 算法 在 计算 中 的 不 局 . 实际 应 用 中 ,应 根据 具体 问题 采 
用 一 种 方法 . 从 上 面 示例 的 计算 中 也 可 以 看 出 , 解 的 简单 变 北 比 解 
的 分 量变 从 和 目标 值 变 化 的 受 禁 忌 范 转 要 小 ,这 可 能 造成 计算 时 
间 的 增加 . 但 它 也 给 予 了 较 大 的 搜索 范围 . 解 分 量 的 变化 和 目标 值 
变化 的 茜 忌 范围 变 大 ,这 减少 了 计算 的 时 间 , 可 能 引发 的 问题 是 禁 
鼠 的 范围 太 大 以 至 陷 在 局 部 最 优点 ， 

由 此 可 以 得 知 , 禁 导 搜索 算法 中 的 技术 很 强 . 因为 NP-hard 问 
题 不 可 能 奢望 计算 得 到 最 优 解 ,在 算法 的 构造 和 计算 的 过 程 中 ,一 
方面 要 求 尽量 少 的 占用 机 器 内 存 , 这 就 要 求 禁忌 长 度 、 避 选集 合 足 
量 小 . 正好 相反 , 禁 尽 长 度 过 短 造 成 搜索 的 循环 ,候选 集合 过 小 造 
成 过 早 籽 陷 人 局 部 最 优 . 

5. 禁忌 长 度 的 确定 

禁忌 长 度 是 被 禁 对 象 不 允许 选取 的 选 代 次 数 .一般 是 给 被 林 
对 象 工 一 个 数 ( 禁 戌 长 度 江 ;要求 对 象 + 在 1 步 迁 代 内 被 禁 , 在 禁 尺 
表 中 采用 tabukz) =: 记 世 , 每 送 代 一 步 ,该 项 指标 做 运算 tabutx) 
一 上 一 1 直到 tabucz) 一 0 时 解禁 .于 是 ,我 们 可 将 所 有 元 素 分 成 
两 类 ,被 禁 元 素 和 自由 元 素 , 有 关 禁 忌 长 度 : 的 选取 ,可 以 归纳 为 
下 商 几 种 情况 ， 

(1) ; 为 常数 ,如 二 10,t 二 V ,其 中 必 为 邻居 的 个 数 . 这 种 
规则 容易 在 算法 中 实现 . 

(2) ft [emo sim j- 此 时 :是 可 以 变化 的 数 , 它 的 变化 是 依据 被 
禁 对 象 的 目标 值 和 邻 城 的 结 梅 . 此 时 tw ,ts 是 确定 的 . 确定 ti， 
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mx 的 侣 用 方法 是 根据 问题 的 规模 了 ,限定 变化 区 间 -av 下， 
8vT]o<a<< 有 .也 可 以 用 邻 域 中 邻居 的 个 数 ” 确定 变化 区 间 
Lavaievn]o<ax<D). 当 给 定 了 变化 区 间 ,确定 上 的 大 小 主 
要 依据 实际 问题 .实验 和 设计 者 的 经 验 .如 共 直 观 可 见 , 当 函数 值 
下 降 较 大 时 ,可 能 谷 较 深 , 欲 屿 出 局 部 最 优 ,希望 被 樵 的 长 度 较 大 . 

(3) zninstmax 的 动态 选取 . 有 的 情况 下 ,用 如 sstue 的 变化 能 达 
到 更 好 的 解 , 它 的 基本 思想 同 (2) 羔 似 . 

禁忌 长 度 的 选取 问 实际 问题 ,实验 和 设计 者 的 经 验 有 紧密 的 
联系 ;同时 它 决 定 了 计算 的 复杂 性 . 过 短 会 造成 循环 的 出 现 . 如 
f(D =1,7(2) = 3,5,f(3) = ?2.5/4) = 2,f(5) = 3,706) = 
6, 极端 情况 禁忌 长 度 是 1, 邻 域 为 相距 不 超过 1 的 整数 点 ,一 旦 清 
人 局 部 最 优点 工 二 4, 则 出 现 循 环 而 无 法 跳出 局 部 最 优 , 过 长 又 造 
成 计算 时 间 较 长 . 上 面 (2) 中 给 出 的 区 间 佑 计 参 数 都 是 一 些 经 验 
的 估计 . 

6， 避 选 集合 的 葡 定 

候选 集合 由 邻 域 中 的 邻居 组 成 . 常规 的 方法 是 从 邻 域 中 选择 
若 干 个 此 标 值 或 评价 值 最 佳 的 邻居 人 选 . 如 上 面 的 TSP 中 采用 
2-opt 邻 域 定义 ,一 个 状态 的 邻 域 中 共有 C: 个 邻居 ,计算 目标 值 
后 , 例 2.8. 全 2.9 和 例 210 选 择 五 个 是 标 秆 最 佳 的 埋 居 人 造 . 

有 时 认为 上 面 的 计算 量 还 是 本 大 , 则 不 在 急 域 的 所 有 邻居 中 
选择 ,而 是 在 邻 域 由 的 一 部 分 邻居 中 选择 著 干 个 目标 值 或 评价 值 
最 佳 的 状态 人 选 . 也 可 以 用 随机 选取 的 方法 实现 部 分 邻居 的 选取 . 


2. 3.2 评价 的 数 


评价 函数 是 候选 集合 元 率 选 取 的 一 个 评价 公式 ,候选 集合 的 
元 农 通 过 评价 函数 值 来 选取 . 以 月 标 函数 作为 评价 一 数 是 比较 容 
得 理解 的 , 目标 值 是 一 个 非常 直观 的 指标 ,但 有 时 为 了 方便 或 易于 


第 2 章 禁忌 搜索 算法 71 


理解 ,会 采用 其 他 函数 来 取代 月 标 冰 数 . 我 们 将 评价 函数 分 为 基于 
目标 函数 和 其 他 方法 两 类 . 
1， 基 寺 上 自 标 畏 数 的 评价 消 数 
这 - -类 主 费 包含 以 目标 是 数 的 运算 所 得 到 的 评价 方法 . 如 记 
评价 函数 为 p(z), 目 标 泪 数 为 A(z), 刚 评价 阔 数 可 以 采用 目标 
函数 
pla) = Hr); 
日 怀 明 数值 与 x” 日 标 值 的 差 值 
pir) = fr) — Flr"™™), 
其 中 x"™ 是 上 :次 迭代 计算 的 解 ; 目 标 函 数值 与 当前 最 优 解 ze 
日 标 值 的 差 值 
pz) = fOr) 一 了 (ze 
其 中 ze 是 目前 计算 中 的 最 好 解 . 
基于 捕 标 函数 的 评价 函 教 的 形成 主要 通过 对 目标 函数 进行 简 
单 的 运算 , 它 的 变形 很 多 ， 
2. 其 他 方法 
有 时 计算 目标 值 比 较 复 杂 或 耗 时 较 替 ,解决 这 一 问题 的 方法 
之 一 是 采用 替代 的 评价 函数 . 替代 的 评价 洒 数 还 应 该 反映 原 目标 
函 数 的 一 些 特性 ,如 原 目 标 消 数 对 应 的 最 优点 还 应 该 是 替代 应 数 
的 最 优点 . 构造 玩 代 函数 的 目标 是 减少 计算 的 复杂 性 . 具体 问题 的 
蔡 代 函 数 构造 依 问 题 而 定 , 它 前 一 个 例子 是 在 生产 计划 中 的 约束 
批量 计划 与 调度 (sapacitated lotsize planning and scheduling) 模 
型 中 的 应 用 . 
例 3.11 简单 的 生产 计划 批量 问题 .一 个 工厂 安排 4 个 产品 
在 了 工 个 计划 时 段 旦 加 工 , 其 各 个 产品 的 需求 量 . 加工 费 用 和 加 工 能 
力 等 之 间 的 关系 用 下 面 数 学 模型 (PP) 描述， 
min > > Cpiz + syn + Phils) (2. 1) 


1 一 1 rt=1 
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号 上。 {i 十 ZZ 一 一 1 2，…， 了 7， 
(2.2) 
DV ar es 了 一 1.2,… 7, C2. 3 
r=1 
1; 车 证 ， > 0, 
Yt 一 《2. 4) 
0, 其 它 . 
zu 0, 1 一 112 


其 中 ,* 表示 生产 产品 需 耗 的 生产 准备 费用 ; 
hh 表示 单位 i 产品 需 耗 的 库存 费用 ; 
六 表示 生产 单位 :产品 需 耗 的 费用 ; 
Zu 表示 第 1 时段,i 产品 的 生产 批量 ; 
Jn 表示 第 时段 ,i 产品 的 库存 量 ; 
ds 表示 第 1 时 段 ,i 产品 的 外 部 需求 量 ; 
a 效 示 生产 单位 产品 需 耗 的 赛 源 量 ; 

< 表示 第 5 时 段 能 力 的 提供 量 . 

上 面 模型 中 ,zx,1 为 决策 变量 , 所 有 参数 为 非 负 值 . 目标 
《2. 1) 要 求生 产 、 生 产 淮 备 和 库存 费用 三 项 费用 和 最 小 , (2.2) 为 
外 部 需求 .生产 和 上 库存 之 间 的 平衡 关系 ,(2. 3) 为 资源 约 东 ,上 反 求 
每 个 时 段 生产 占用 的 能 力 不 超过 可 提供 的 能 力 , PP 模型 是 一 个 混 
含 整数 规划 问题 . 因为 办 取 0,1 两 个 值 , 当 及 一 (ya) 的 值 选 定 后 ， 
PP 模型 为 一 个 线性 规划 问题 ,对 应 的 最 优 目 标 值 为 ZY*). 这 样 ， 
禁忌 搜索 算法 可 以 只 将 (yi) 看 成 决策 变量 进行 计算 求解 . 如 果 采 
用 基于 目标 函数 的 评价 函数 方法 ,对 应 每 一 个 FY’ 二 (y,) 要 解 一 个 
线性 规划 问题 .虽说 线性 规划 问题 有 名 项 式 时 间 的 最 优 算 法 ,但 对 
每 一 个 给 定 的 陪 求解 一 次 ZF 还 是 很 费时 的 , 一 个 简单 的 替代 
方法 是 对 绍 定 的 7, 用 启发 式 的 算法 求解 PP. 基本 思想 是 根据 Y'、 
d, 和 ec 安排 各 时 段 的 生产 (可 参见 文献 [4]》, 最 后 得 到 一 个 启发 式 


第 2 事 索 避 搜索 工法 73 


算法 的 日 标 值 Z“ 7" ) ,以 此 为 评价 画 数值 . 
求解 的 基本 中 想 是 : 当 没 有 资源 约束 (2. 3)》 时 ,PP 模 弄 存在 一 
个 最 优 解 满足 
Ti Ts 一 0， 
即 上 一 个 时 段 有 库存 , 则 本 时 段 不 生产 ,反之 本 时 段 要 生产 , 则 土 
-个 时 段 必 然 库 存 为 零 ;: 由 此 对 应 瞧 一 一 个 解 了 E 10,1}”*" 满足 


2 


Dd ye 一 -yira 二 1 < ]， Yi 一 D0， Tl < 
Te 一 和 一 导 


{2. 5 
当 增 加 (2,. 3) 资源 约束 后 ,从 最 后 -个 时 段 人 本 开始 按 资 源 约束 逐 
个 时 段 验 证 解 (2.5) 是 否 满 是 (2.3), 当 不 满足 时 ,将 超出 资源 约 
束 的 部 分 前 称 一 个 时 段 加 工 . 如 此 修正 ,最 后 若 第 -个 时 段 资源 不 
是 时 ; 则 认为 无 可 行 解 ,此 时 目标 值 记 为 充分 大 的 一 个 数 . 车 可 行 ， 
则 按 修 正 后 的 解 zoD 了 YG 二 152; nn; 二 12,…,T), 用 
(2. 1) 计算 目标 函数 值 . 这 个 是 标 值 作为 评价 值 . 口 
例 2. 11 用 -个 启发 式 算法 解 的 虽 标 值 蔡 代 最 优 值 .取代 的 主 
村 原因 是 认为 线性 规划 算法 的 计算 时 间 还 是 太 长 . 如 果 计 算 目 标 
值 比较 复杂 或 所 花费 的 时 间 较 长 ,可 以 用 替代 的 方法 , 应 该 注意 的 
巧 替代 旺 数 应 尽 可 能 地 反映 原 目 标 函 数 的 特性 ， 


2.3.3 ” 特 歼 规则 


在 禁 嫩 搜索 算法 的 迭代 过 程 中 ,会 出 更 候选 集中 的 全 部 对 象 
都 被 禁忌 ,或 有 一 对 象 被 禁 , 但 车 解禁 则 其 目标 值 将 有 非常 大 的 下 
降 情况 . 在 这 样 的 情况 下 ,为 了 达到 全 局 的 最 优 ,我 们 会 让 一 些 禁 
尽 对 象 重新 可 选 . 这 种 方法 称 为 特赦 ,相应 的 规则 称 为 特赦 规则 
(aspiration criteria}. 先 用 下 面 的 葬 子 理解 特赦 规则 的 应 用 . 

例 212 五 城市 的 TSP ,其 城市 间 的 距离 为 ， 


9 2 10 19 1 


请 
bd 
be 
一 
be 
一 
局 


10 10 
2 10 10 1 0 

假设 初始 解 为 : C4CBDE). 类 似 例 2.3, 经 过 一 步 运 算 , 得 到 一 个 
解 是 CABCDE), 目 标 信 为 10; 假 设 在 计算 的 基 一 步 , 得 到 上 是 前 的 
一 个 解 为 (AEDBC) ,f(AEDBC) 一 324, 此 时 被 焚 的 对 的 还 和 包括 
BC. 若 交换 BC ,得 目标 值 51 这 个 目标 值 好 于 前 面 的 任何 一 个 最 佳 
候选 解 ,有 理由 解禁 BC 对 换 , 这 是 一 种 特赦 规则 . Ll 

以 下 罗列 三 种 常 用 的 特赦 规则 ,在 下 面 的 讨论 中 ,认为 评价 值 
赵 小 越 好 . 

{1) 基于 评价 值 的 规则 - 例 2.12 就 是 这 样 的 规则 . 在 整个 计 
算 过 程 中 ,记忆 已 出 现 的 最 好 和 解 二 ”, 当 候 选集 中 出 现 一 个 解 x ， 
其 评价 值 ( 可 能 是 目标 值 ? 满 吓 cx) > clx"™) 时 , 屡 说 从 2x“* 达 
到 x" 的 变化 是 被 禁忌 的 ,此 时 ,解禁 x"" 使 其 自由 . 直观 理解 ,我 
们 得 到 一 个 更 好 的 解 . 

《2》 基于 最 小 错误 的 规则 . 当 收 选集 中 所 有 的 对 象 都 被 禁忌 
时 , 而 (1) 的 规则 又 无 法 使 程序 继续 下 去 . 为 了 得 到 更 好 的 解 ,从 
候选 集 的 所 有 元 素 中 选 一 个 评价 值 最 小 的 状态 解禁 - 

(3) 基于 影响 力 的 规则 . 有 些 对 象 的 变化 对 目标 值 的 影响 很 
大 ,而 有 的 变化 对 目标 值 的 变化 较 小 . 我 们 应 该 关注 影 啊 大 的 蛮 
化 . 从 这 个 角度 理解 ,如果 一 个 影响 大 的 变化 成 为 被 禁 对 象 ,我 们 
应 该 使 其 自由 ,这 样 才 能 得 到 问题 的 一 个 更 好 的 解 . 需要 注意 的 
是 , 我 们 不 能 理解 为 ;对 象 的 变化 对 目标 影响 大 就 一 定 使 得 目标 
(或 是 评价 值 ) 变 小 , 它 只 是 一 个 影响 力 指标 - 这 一 规划 应 结合 禁 
总 长 度 和 评价 函数 值 使 用 . 如 在 馆 选 集中 明 标 值 都 不 及 当前 的 最 
好 解 , 而 一 个 禁忌 对 象 的 影响 指标 很 高 且 很 快 将 定 解 禁 时 ,我 们 可 


[mm 
ty 
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以 通过 解禁 这 个 状态 以 期 望 得 到 更 好 的 解 .下 面 用 0-1 背包 问题 
的 一 禁 总 搜索 算法 理解 影响 力 指 标 - 

例 2.13 0-1 背包 问题 的 禁忌 搜索 算法 

和 解 的 形式 为 :x 全 10.1) 邻 域 定 交 为 


Nr N(x) 一 {y| >) | 1}. 


这 样 的 邻 域 定义 要 求 每 次 最 多 只 能 有 一 个 变量 变化 ,从 0 变 
为 1 或 是 从 1 变 为 0. 直观 理解 是 装 一 个 物品 进去 或 是 取 一 个 物品 
出 来 . 评价 值 选 择 目标 值 ,此 时 日 标 值 越 大 越 好 . 在 计算 的 每 -个 
迭代 过 程 中 ,需要 验证 能 力 的 可 行 福 , 当 所 装 物 品 体积 大 于 包 的 容 
积 时 为 不 可 行 解 ,其 目标 值 定 义 为 一 玉 (K 是 一 个 充分 太 的 整数 ， 
表示 得 到 的 解 为 不 可 行 解 ). 除了 目标 值 以 外 ,一 个 有 影响 力 的 指 
标 是 物品 的 大 小 . 取出 一 个 体积 大 的 物品 可 以 装 进 多 个 小 的 物品 ， 
装 进 一 个 大 的 物品 很 快 使 包 的 容积 变 小 . 假设 刚 装 进 一 个 大 的 物 
曲 ; 此 时 包 正 好 装 满 ,马上 取出 是 应 该 禁 感 的 . 如 五 个 物品 的 0-1 
背包 问题 ,它们 的 体积 和 价值 {faycyG 二 1,2,314,5) 分 别 为 14， 
4) ,2.4) ,11,1.5},{3,4),{1.5,4}, 和 包 的 容积 为 6. 根 设 计算 过 程 
中 得 到 - -个 解 为 x1 二 Ts 一 1 和 zs 一 一 z= 二 0,zx1:1 一 0 和 
Xs :1 一 0 受 禁 .由 十 包 中 不 可 能 再 装 入 任何 物 曲 , 鸭 了 不 使 计算 
停 十 ,只 能 采取 特赦 的 方法 . 因为 体积 是 能 力 约 束 的 最 重要 的 指 
标 , 同 时 对 自 标 函数 最 具有 影响 力 , 因 此 选 体 积 大 的 特赦 即 zx/ : 1 
一 0 解禁 . 这 样 其 他 物品 就 有 装 包 的 可 能 性 . 口 


2.3.4 记忆 频率 信息 


在 计算 的 寺 程 中 ,记忆 一 些 信息 对 解决 问题 是 有 利 的 . 如 一 个 
最 好 的 目标 值 出 现 的 频率 很 高 ,这 使 我 们 有 理由 推测 : 狗 有 参数 的 
算法 可 能 无 法 再 得 到 更 好 的 解 ,因为 重复 的 次 数 过 高 ,使 我 们 认为 
可 能 出 现 了 多 次 循环 . 根据 解决 问题 的 需要 ,我 们 可 以 记忆 解 集 
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人 请 、 有 序 被 禁 对 象 组 .日 标 值 集合 等 的 出 现 频率 . 一般 可 以 根据 状 
恋 的 变化 将 频率 信息 分 为 两 类 :静态 和 动态 . 

静态 的 频率 信息 主要 是 某 些 变 化 ,诸如 解 . 对 和 换 或 目标 值 在 计 
算 中 出 现 的 频率 .求解 它们 的 频率 相对 比较 简单 -如 可 以 记录 它们 
在 计算 中 出 现 的 次 数 : 出 现 的 次 数 与 总 的 选 代数 的 比率 ,从 一 个 状 
态 出 发 再 名 到 该 状态 的 选 代 次 数 等 .这 些 信 息 有 助 于 我 们 了 解 一 
些 解 .对 换 或 目标 值 的 重要 性 ,是 否 出 现 循环 和 循环 的 次 数 . 在 禁 
后 搜索 中 ,为 了 更 充分 的 利用 信息 ,一 定 要 记忆 目前 最 优 解 . 

动态 的 频率 信息 主要 是 从 一 -个 解 , 对 换 或 目标 值 到 另 一 个 解 、 
对 换 或 目标 值 的 变化 趋势 ,如 记忆 一 个 解 序列 的 变化 ,或 记 一 个 解 
序列 变化 的 车 于 个 点 等 . 由 于 记录 比较 复杂 ,因此 , 它 提供 的 信息 
量 也 较 大 ,在 计算 动态 频率 时 ,通常 采用 的 方法 为 ， 

(1) 一 个 序列 的 长 度 , 即 序列 中 元 素 个 数 .在 记录 若干 个 关键 
点 的 序列 中 , 按 这 些 关键 点 的 序列 长 度 的 变化 进行 计算 ; 

(2) 从 序列 中 的 一 个 元 素 出 发 ,再 回 到 该 序列 该 元 素 的 迭代 
次 数 : 

(3) 一 个 序列 的 平均 目标 (评价 》 值 ,从 序列 中 一 个 元 素 到 另 
一 个 元 素 目 标 ( 评 价 ) 值 的 变化 稍 况 : 

(4) 该 序列 出 现 的 频率 . 

频率 信息 有 助 于 进一步 加 强 禁 鼠 搜 索 的 效率 , 我 们 可 以 根据 
频率 信息 动态 控制 禁忌 的 长 度 . 当 一 个 元 素 或 一 个 序列 重复 出 现 ， 
我 们 可 以 增加 禁 灵 长 度 以 加 开 循 环 . 当 一 个 序列 的 目标 (评价 ) 值 
变化 较 小 时 ,有 必要 增加 该 序列 每 一 个 对 象 的 禁 忆 长度, 反之 , 减 
少 每 一 个 对 象 的 禁 尽 长 度 . 一 个 最 佳 的 目标 值 出 现 的 频率 很 高 ,有 
理由 终止 计算 而 将 这 一 值 认 为 是 最 优 值 . 


2.3.5 终 正 规 风 
无 论 如 何 , 禁 有 鼠 搜 索 算法 是 一 个 启发 式 算法 .我 们 不 可 能 让 禁 
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尽 长 度 充 分 大, 只 希望 在 可 接受 的 时 间 里 给 出 一 个 满意 的 解 . 于 是 
很 多 直观 .易于 操作 的 卓 则 包 售 在 终止 规则 中 . 下面 给 出 常用 的 终 
止 规则 : 

(1) 确定 步 数 终止 . 给 定 一 个 充分 大 的 数 入 ,总 的 迭代 次 数 不 
超过 六 步 . 即使 算法 中 包含 其 他 的 终止 原则 ,算法 的 总 先 代 次 数 
有 保证 . 这 种 原则 的 优点 是 易于 操作 和 和 可 控 计 算 时 间 ,但 无 法 保证 
解 的 效果 .在 采用 这 个 规则 时 ,应 记录 当前 最 优 解 . 

《2) 频率 控制 原则 , 当 某 一 个 解 . 目 标 值 或 元 毒 序列 的 频率 超 
过 一 个 给 定 的 标准 时 ,如 果 算 法 不 做 改进 ,只 会 造成 闫 率 的 增加 ， 
此 时 的 循环 对 解 的 改进 已 无 作用 ,因此 ,终止 计算 .这 -- 规 则 认为 : 
如 果 丰 改进 算法 , 解 不 会 再 政 进 ， 

(3) 目标 值 变 化 控制 原则 . 在 禁忌 搜索 算法 中 , 提 佛 记忆 当前 
最 优 解 . 如 果 在 一 个 给 定 的 步 数 内 ,目标 值 没 有 改变 ,局 42)》 相同 
的 观点 ,如 果 算法 没有 其 他 改进 , 解 不 会 改进 .此 时 ,停止 运算 . 

(4) 日 标 值 偏 离 程度 原则 . 对 一 些 问 题 可 以 简单 地 计算 出 它 
们 的 下 界 (目标 为 极 小 ,我们 在 第 6 章 将 介绍 一 种 求解 下 界 的 拉 
格 朗 日 (Lagrange) 松弛 算法 . 记 一 个 同 题 的 下 界 为 Zra, 目 标 值 为 
fx), 对 给 定 的 充分 小 的 正 数 <, 当 jz) 一 Ze 扫 < 时 ,终止 计算 . 
这 表示 自前 计算 得 到 的 解 与 最 优 值 很 接近 . 


2.4 应 用 实例 


本 节 介 绍 两 个 应 用 实例 ,一 个 是 比较 简单 的 图 节点 着 色 Cnode 
cojering) 疝 题 , 另 一 个 是 车 间作 业 调 度 ,也 称 为 车 间作 业 排 序 丘 
题 . 从 两 个 实例 中 可 以 了 解禁 忆 搜 索 算法 应 用 的 一 些 理论 和 技术 
问题 . 
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2.4.1 图 节点 着 色 问 题 


给 定 -个 无 向 网 C 一 (7 下) 其 中 六 是 节点 集 Y 一 (1,2,…， 
1 : 是 边 集 , 达 二 1 站 17EY7) 7 表示 有 连接 :7 的 一 个 
边 ,车 六 CV 二 UV, 且 内 部 的 任何 两 个 节点 没有 闪 中 的 
边 直接 相连 , 则 称 人 7 7 ,Vi) 为 YY 的 一 个 划分 ,图 的 节点 着 色 
问题 可 以 描述 为 : 求 … 个 最 小 的 ,使 得 (VV,… ,Ve) 为 了 的 一 


个 划分 . 
例 2.44 如 图 23 所 示 的 五 节 
点 无 向 图 如 二 (VY .RED). 它 的 一 个 划分 (2) 


是 :Pr 一 {A,E},V, = {B,D},V, = 
tc) 当然 VV = (A4} ,Vi 二 {B),V 一 “AT 
(Cj = (1D,E) 也 是 一 个 划分 . 口 

对 给 定 ”个 节点 的 无 向 图 ,禁忌 也 天 请 已 
搜索 算法 求解 图 节点 覆盖 问题 可 以 。。 负 23 五 节点 图 
分 为 两 步 .第 一 步 是 给 定 一 个 常数 
考虑 目标 函数 

CCVT YY 一 | 人 YID| 十 1)| + + |ECV)|, 
其 中 ,|EECV) | 为 了 , 中 直接 连接 两 个 节点 的 边 数 . (7 7) 
为 了 的 一 个 划分 的 充分 必要 条 件 是 Fa ,Vi) = 0. 

第 二 步 的 主要 工作 是 ;对 不 满 是 Fi 一 0 的 (7 
Vs,-… ,V1) 进行 优化 计算 ,从 而 决定 是 否 增加 子 集 的 个 数 上 从 满 
是 (VV ,VD 二 0 的 划分 中 选择 最 小 的 划分 数 如 

将 解 的 形式 用 下 面 形 式 表 示 
1 2 :er 


#1 ts CE tn 


s=| 1， 


其 中 心 表示 第 了 个 节点 在 第 羡 集 合 中 . 
解 的 第 了 个 分 量变 化 为 : 
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从 原 在 第 i 和 集合 中 改变 到 第 i 集合 中 . 

每 一 个 解 S 的 邻 域 由 那些 满足 上 面 的 变 北 且 只 有 一 个 分 量变 
化 的 解 组 成 ,共有 nk 个 邻居 ( 包 会 自身 ), 每 一 个 节点 (分 量 ) 可 以 
选择 六 个 划分 集 之 - 


禁忌 : 


即 迷 原 到 原 有 状态 . 这 种 禁 刀 考虑 了 变化 的 方向 . 

特赦 规则 : 车 xz" 是 当前 最 优 解 , 当 -个 受 禁 的 倒 居 x 满 号 
AD SF ) 一 1 时 , 则 受 禁 的 变化 特赦 . 

因为 目标 值 为 非 负 整数 ,条 件 f(x) 所 Fr) 一 1 表示 工 的 目 
标 值 小 于 当前 最 优 拥 zx* 的 目标 秆 . 本 例 采 用 基于 评价 值 的 特赦 规 
如 <1》. 

Hertz 和 更 errac 在 集合 移 划 分 数 给 定 的 情况 下 ,给 出 的 程序 
框架 如 下 


已 知 
划分 集合 数 &, 解 的 形式 5, 目标 函数 上, 解 的 变化 , 邻 域 昧 射 
NS)， 禁 鼠 长 度 , 目 标 值 下 界 . 广 ,两 个 目标 得 没有 改进 的 最 大 人 允 
许 选 代 次 数 nbmraz. 开始 
一 一 任 选 一 个 初始 和 解 ; 
一 一 nbiter :一 0;(# 当前 的 挝 代步 x ) 
besitter :一 0;(* 当前 最 优 拥 所 在 的 选 代 步 x ) 
bestsof :一 Sy(#* 当前 的 最 优 解 * ) 
一 一 令 z 二 A(S), A(z) :一 = 一 13( 特 均值 ) 
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一 初始 化 禁忌 表 1; 
niter-bestiter < 之 nbmazy) 时 ,计算 
— niter := nbrter + 二; 
一 一 产生 和 (5S) 的 一 个 候选 集 V ,要求 收 选 元 素 x 是 非 禁 器 
的 或 是 特 珊 的 F(x) 所 ACFCS)); 
一 ”在 WV” 中选 日 标 值 最 优 的 解 S*， 
一 一 半生 ACFC5D), 则 ACFGS")) := 了 CS*) 一 1; 理 
则 若 FS) 三 ACFCGS*)), 风 ACHCS"0) :一 105) 一 1; 


一 一 更 新 禁忌 表 ; 
一 一 阁 f(S*) < festsol), WW) Bestsol : — S':; bestiter :一 
noiler 
一 SS" 
继续 ; 
结束 ， 


输出 :计算 中 的 最 优 解 . 


在 文献 [5 中 ,随机 产生 实例 的 参数 为 :无 向 图 共有 1000 个 节 
点 , 边 集 的 密度 是 50 中 (大 约 是 Ciomy72 个 边 ), 禁 及 表 长 度 | 于 | = 
7 ,候选 解 个 数 | "| 一 1V1/2. 最 终 对 上 面 规模 实例 的 计算 结果 是 
平均 可 用 87 种 颜色 划分 . 概率 分 析 的 理论 结果 是 85 种 颜色 . 


2.4.2 车 间作 业 调 度 问 题 


1. 问题 的 描述 

车 间作 业 调 度 (job shop scheduling) 问题 可 以 简单 地 描述 为 
下 个 工件 Gob)f( 这 是 一 个 统称 )， 7 在 澡 台 机 器 
《machine) (也 是 统称 )ad id 于 加 工 .每 一 个 工件 江 有 如 
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个 工序 (operation) ,On ,Ow ,Om ;第 O; 工序 的 却 工 时 间 为 pj. 
必须 按 工 序 进行 加 工 且 每 一 工序 必须 一 次 加 工 完成 (无 抢占 ,ne 
Preemption). 一 台 机 器 在 任何 时 刻 最 多 只 能 可 工 一 个 产 世 ,一 个 
工 件 不 能 同时 在 两 台 机 器 上 加 工 . 如 何在 上 面 的 条 件 下 使 最 后 一 
个 完工 的 工件 完工 时 间 最 短 ? 

车 间 和 作业 问题 可 以 用 析 取 图 (disjunctive graph) 表示 : 


图 2.4 车间 作业 排 序 的 析 取 终 


在 图 2.4 中 ,S 和 五 是 虚拟 的 起 终点 , 实 线 诛 表 示 两 个 工序 的 
前 后 关系 ,这 是 不 允许 改变 的 . 每 一 行 表示 一 个 工件 的 所 有 工序 . 
虚线 边 暂 时 是 没有 方向 的 ,一 个 虚线 边 表示 连接 的 节点 (工序 ) 在 
向 一 合 机 器 上 加 工 ; 如 OW ,Ow 的 连接 线 表示 它 作 在 同一 各 机 器 上 
加工 . 车 间作 业 的 -: 个 调度 是 给 予 所 有 虚线 边 一 个 方向 ,成 为 一 个 
种 线 弧 . 一 个 趾 线 弧 所 指 方向 表示 加 工 遵照 的 顺序 . 寻找 车 间作 业 
调度 问题 的 一 个 可 行 解 就 是 在 图 2. 4 中 给 姬 线 边 赋 方 向 ,使 其 成 
为 一 个 有 向 且 玩 圈 的 图 . 

车 间作 业 调 度 问 题 在 两 个 工件 时 是 存在 多 项 式 时 间 的 最 优 算 
法 , 参考 文献 [6], 但 当 工 件数 超过 2 时 ,问题 的 复杂 性 是 
NP-hard, 证 明 见 文献 [7]. 非常 直观 ,问题 的 一 个 解 对 应 m 台 机 器 
上 的 一 个 如 工 排序 . 

在 应 用 禁 辟 搜索 之 前 ,由 于 车 间作 业 的 邻 域 构造 有 较 强 的 代 


82 更 上 汇 优 化 计算 方法 


表 性 ,我 们 首先 考 审 问题 的 邻 域 构 造 . 第 一 种 方法 是 选 一 台 机 器 上 
的 两 个 工序 交换 位 置 加 工 , 如 人 台 机 器 上 原 有 的 吉 工 序 为 {a ,b,c， 
de) :这 挽 uc 序 后 ,新 的 基 工 序 为 tc ,bya,d,e). 这 样 的 邻 域 映 射 使 


得 一 个 解 有 > VC? 个 邻居 . 进一步 推广 上 面 的 方法 ,可 以 使 得 若干 


个 位 置 交 换 . 一 种 特 跌 的 情况 是 将 一 个 工序 移 到 另 一 个 位 置 加 工 . 
如 在 一 台 机 器 上 原 有 的 加 工序 是 (Cabede 门 , 现 将 了 移 到 第 一 个 位 
置 加 工 , 则 加 工序 为 Cfabedey ,这些 导 我 们 常见 的 方法 ， 

第 二 种 方法 起 关键 路 (critical path》 法 . 这 种 方法 所 依赖 的 -- 
个 基本 思想 是 :在 第 - -种 方法 中 ,--- 些 交换 对 日 标 值 没有 影响 ,这 
些 交 换 浪 费 计 算 时 间 , 应 抓 住 最 长 的 .加 工 中 没有 时 同 空 用 的 一 条 
路 ( 即 关 键 路 ), 交 换 同 在 这 条 路 上 岂 同 在 一 台 机 器 土 加 工 的 两 个 
加 工 工件 的 位 置 . 

2. 关键 路 的 理论 

例 2.15 三 个 工件 在 两 台 机 器 上 加 工 的 车 癌 作业 问题 ,其 加 
工 如 图 2. 5. 


于 和 5 三 工件 车 间作 业 图 


从 图 中 可 以 看 到 :Ou as :O31 在 一 台 机 器 上 加 工 is ai rz 
在 另 一 台 袖 器 上 加 工 . 假设 各 工序 的 加 工时 间 汶 :pp = 5, pss — 2, 
pa 4 ,p12 ?1pa 1,Paz 一 2. 两 台 机 器 的 加 工序 分 别 为 ; 


策 2 章 禁忌 搜索 算法 


83 
MO O31 Oy 


M3 ;Oa — Os Oy 
MM | 5 | 4 | 2 | 
OD, 
MM |1 | 了 |2 | 


Os 


Oa 
关键 路 :Ci， 一 和 Os — Ou 


关键 路 是 :Oo 一 O01 一 口 ;s, 长 度 为 14 . 以 较 粗 的 线 标记 在 图 
2.5 工 .从 图 2.6 可 以 硅 上 出 ,交换 品 ,,Oss 的 加 工 位 置 对 最 长 完工 时 
间 没 有 影响 ,但 交 撞 关键 路 上 的 一 个 工件 ;如 OO 交换 , 则 如 
图 2.7. 


图 2.7 关键 路 :Di 一 OO 一 Diy 一 站 


英 键 路 是 :Di 一 Oi 一 Dis 一 Osa: 长度 为 18. 由 此 可 以 看 革 ， 
关键 路 上 的 乞 工 工件 的 位 置 改 变 对 目标 值 有 直接 影响 . 
定 多 2.2 


口 
在 关键 路 上 ,满足 下 列 条 件 的 相 邻 节点 集 称 为 抉 
Chlock), 


(1) 由 关键 路 上 的 相 邻 节点 组 成 ,至 少 包 含 商 个 工序 ; 
《2) 集合 中 的 所 有 工序 在 一 台 机 器 上 加 工 ; 


C32) 增加 一 个 工序 后 ,不 满足 人 1) 或 (2)， 
定理 2.2 车 一 解 的 关键 路 不 包 售 扎 , 则 一- 定 是 最 优 艇 ， 
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证 明 ”由 定理 的 条 忻 ; 关 键 路 上 不 包含 块 , 由 图 2.4, 同 一 台 
机 内 的 相 丢 工序 出 虚线 相连 ,由 此 可 知 , 任 意 相 邻 的 商 个 工序 由 一 
条 实 线 连接 . 这 条 关键 路 长 度 是 其 一 个 工件 的 所 有 工序 加 工时 间 
和 ，, 基 车 疝 作 业 完 工时 间 的 一 个 下 界 . 因此 定理 结论 成 立 . 口 
若 y 是 车 间作 业 的 一 个 可 行 解 , 则 对 应 y, 图 2.4 为 一 个 有 向 
无 图 图 . 若 y 和 儿 Y 是 作业 调度 的 两 个 可 行 解 , 且 y 和 ww 对 应 的 有 向 
图 SS 和 35'. 当 图 5S' 的 关键 路 太 的 长 度 示 于 图 5 的 关键 路 也 的 长 
度 时 , 称 可 行 解 y 改进 了 
定理 2. 3 若 > 和 ?是 车 间作 业 调 度 的 两 个 可 行 解 , 旦 y 和 和 
32 对 应 的 有 向 图 为 S 和 5'. 车 >' 改进 y, 则 一 定 满足 下 面 的 两 条 件 
之 一 : 
《1) 鞋 少 有 一 个 工序 , 它 在 y 的 一 个 块 召 中 且 不 是 互 块 中 的 
第 一 个 工序 ,但 在 yx 中 它 在 BB 的 其 他 工序 之 前 加 工 ; 
(2) 至 少 有 一 个 工序 , 它 在 ? 的 一 个 顽 吾 中 且 不 是 召 欣 中 的 
最 后 一 个 工序 ,但 在 交 中 它 在 8 的 其 他 工序 之 后 加 工 . 
证 明 ”yy 对 应 的 一 条 关键 路 为 PP， 
PS, uss a sm sk ,EE, 
其 中 , 志 ,…,ul 表示 一 个 块 , 即 在 同一 侣 机 器 寺 加 工 . 现 用 反 证 法 
证 明 结 论 . 假设 y 和 yy 的 块 且 所 在 的 机 器 相同 ,是 y' 属于 PP 的 执 
中 的 任何 一 个 工序 不 在 其 块 的 其 他 工序 之 前 或 之 后 加 工 , 则 有 :; 
"在 x 中 ,地 在 zx 之 前 加 工 , 且 它们 是 同一 个 工件 的 不 同 工 
序 ; 
" 若 咏 衬 2, 无 论 是 在 3 还 是 在 光 中 ,好 地 在 同一 台 机 器 
上 加 工 ， 
* 营 刀 写 2, 无 论 是 在 y 还 是 在 y 中 ,wi 总 是 在 到 :地 之 前 
加 工 ,z 总 是 在 硬 ,…… ,地 -1 之 后 加 工 ; 
在 > 由 ,ad 地 的 加 工序 为 吧 : 相 ,但 由 上 面 的 讨论 ,zf 
一 妇 和 码 王 到: 于 是 y 对 应 的 一 条 路 (不 一 定 为 关键 路 ) 为 P'， 
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P'S vl 
2 的 最 大 完工 时 间 Lty) 为 
LO DD py = DD py Ly), 

? 不 是 的 一 个 改进 , 则 与 定理 的 已 知 条 件 相 了 矛盾, 故 定 理 结论 
成 立 . 国 | 

3， 厚 域 结 构 

通过 定理 2.3, 可 以 给 出 基于 关键 路 的 邻 域 构造 方法 . 

邻 域 六 1: 设 y' 为 - -个 可 行 解 ,车 y 将 y 的 关键 路 中 一 个 块 中 
的 一 个 作业 前 移 到 最 前 或 后 移 到 最 后 位 置 加 工 , 则 称 y 为 y 的 一 
个 邻居 .所 有 这 样 的 移动 组 成 的 集合 为 y 的 分 域 . 

邻 域 W2: 设 2 为 一 个 可 行 解 . 若 % 是 ?的 关键 路 中 一 个 块 中 
的 作业 前 移 或 后 移 的 所 有 可 能 位 置 加 工 , 则 称 y 为 y 的 一 个 邻居 . 
所 有 这 样 的 移动 组 成 的 集合 为 y 的 邻 域 . 

注 : 在 上 曾 第 一 个 邻 域 定义 中 ,我 们 强调 y 为 一 个 可 行 解 ,这 
基 四 为 在 车 间作 业 调 度 中 ,交换 两 个 工序 的 加 工 位 置 可 能 出 现 死 
锁 (deadlock) 现象 ,如 图 2.8, 原 机 器 的 加 工序 为 ; 

MI: CO > Ow, 
M,: Os 一 CD 

现 改 变 第 一 台 机 器 的 加 工序 为 M1; Da Oi ,如 图 2.8; 此 时 任何 
一 个 工件 无 法 开工 ,因此 称 为 死 锁 现象 . 

定理 2.4 车 间作 业 调 度 的 可 行 解 集合 相对 和 N2 是 连通 的 , 即 
以 任何 一 个 可 行 解 为 起 点 ;可 雇 通过 和 N2 达到 一 个 全 局 最 优 解 . 

证 明和 参见 文献 [9]. 

4. 计算 结果 

文献 [38] 中 研究 了 车间 作业 的 一 种 更 广泛 的 情形 ,多 功能 机 
器 车 间作 业 排 序 问题 . 在 他 们 的 模型 中 ,工序 口 , 可 由 一 个 机 器 集 
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CC 
Gs) (5) 
CO 


图 38 死 锁 现象 


合 Cr 所 (MM Ma} 中 的 任何 一 个 机 占 加 工 , 极端 的 情况 
1G,,| = 1 为 常规 的 车 间作 亚 排 序 问题 . 他 们 产生 53 组 随机 数据 进 
行 数值 计算 , 数据 生成 的 原则 是 ;以 文献 [7] 和 文献 [101 的 典型 数 
据 为 基础 ,以 表 2.1 的 多 功能 系数 分 组 随机 产生 数据 文件 ,所 产生 
的 数据 分 别 用 edata ,rdata 和 vdata 标记 . 文献 [7] 和 [10] 中 典型 
数据 的 主要 参数 是 :机 器 数 分 别 为 5.6.10 和 15, 工 件数 分 别 为 6、 
10,15、20 和 30, 且 每 一 个 工件 的 工序 数 都 相同 ,满足 x; 二 ,i 二 


1 ,2 sn 


囊 21 多 功能 参数 


IG,, lave [|G |max 
edata 1-.15 . 2tm £6) 
3tm > 10) 
rdata 2 3 
vdata 地 和 


3 


其 中 ,|Gi|ave 表示 所 有 1G.,| 的 平均 数 ,|1Gi|max 表示 所 有 1G.,| 
的 最 大 数 . 

用 上 面 的 和 Nl 和 和 N2 邻 域 结 构 , 禁 忌 对 象 选 择 为 :禁忌 上 一 步 
位 内 变化 的 复原 ,如 一 个 块 为 (abcde),c 原 在 的 位 置 是 3, 经 过 位 置 
移动 后 ,禁忌 回 到 3. 禁 妃 表 的 长 度 为 30, 总 的 送 代 长 度 分 为 1000 
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和 5000 次 两 种 .停止 规则 为 :在 迭代 总 长 达到 之 前 ,车 令 域 中 的 所 
有 可 行 解 都 是 禁忌 的 或 目前 解 的 目标 值 等 于 下 界 或 出 现 铂 环 则 停 
止 计算 ， 


功能 类 型 相对 误 若 ml-1000 N23-1000 六 1-5000 NM2-5000 
edata 平均 5. 2 5. 3 4.8 4.5 
最 大 24.0 22,8 23. 4 19.8 
rdata 平均 2.8 2.9 2.3 2.3 
最 大 13. 4 14.5 12.0 10.7 
vdata 平 的 日 . 5 0.5 D. 4 .4 
最 太 3.2 3. 1 1.9 2.1 


其 中 , 表 中 所 有 数据 为 禁忌 搜索 算法 所 得 解 的 目标 值 和 已 知 最 佳 
下 界 的 相对 误差 :1-1000 表示 采用 N1 邻 域 最 大 迭代 次 数 为 
1000;N2-5000 表示 采用 N2 邻 域 最 大 迷 代 次 数 为 5000. 

计算 结果 显示 ,(1) 邻 域 Nl1 和 NN2 对 计算 结果 的 影响 不 明显 ， 
此 处 N11 是否 具 有 定理 2.4 的 连通 性 还 没有 得 到 证 明 ;(2) 总 体 的 
平均 效果 ,禁忌 搜索 算法 相当 好 ,所 得 目标 值 和 已 知 最 好 下 界 的 相 
对 差 的 平均 效果 在 0.4 听 到 5.23% 之 间 . 随 着 机 器 功能 的 增加 ,村 
对 误差 之 渐变 小 ; (3) 迭代 次 数 1000 和 5000 的 差别 不 是 很 大 ,也 
就 是 在 闪 代 总 次 数 限 制 在 1000 次 时 ,计算 效果 同 选 代 5000 次 基 
本 相同 ,因此 可 以 采用 1000 次 的 迁 代 而 节省 计算 时 间 ， 


练 习 题 
1. 对 例 2.13 的 五 城市 TSP, 初 始 解 为 (4CBDE) ,城市 交 斤 


对 被 禁 , 候 选集 合 采用 2-opi 邻 域 ,禁忌 长 度 为 3, 问 :算法 能 理 达 
到 最 优 解 CAEDCB)? 在 什么 样 的 条 件 下 可 以 达到 最 优 解 ? 
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2. 就 禁忌 常规 状态 变化 和 目标 值 讨论 例 2.13 的 收 黎 情况 . 

3. 证 明 ; 图 的 节点 着 色 问 题 是 NP-hard. 

4 在 WI 和 2 邻 域 中 ,在 什么 条 件 下 ;一 个 鼎 的 两 个 工序 位 
置 交 换 保 持 串 行 解 ? 

5. 在 练习 题 4 的 程序 实现 中 ,如 何 兰 别 变换 后 的 解 是 不 可 
行 解 ? 

6. 实 奥 禁 尽 搜索 算法 求解 图 的 节点 着 色 癌 题 . 

实现 禁忌 搜索 算法 求解 车 间作 业 调 度 问题 . 
8. 实现 禁忌 搜索 算法 求解 0-1 背包 问题 . 
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第 3 章 
模拟 退火 算法 


模拟 退火 (simulated annealing) 算 法 是 局 部 搜索 算法 的 扩展 ， 
它 人 不同 十 局 部 搜索 之 好 是 以 一 定 的 概率 选择 分 域 中 费用 值 太 的 状 
态 . 理论 上 来 说 , 它 是 -个 全 局 最 优 算法 . 模拟 退火 算法 最 早 的 思 
想 由 MettropolisD 在 1953 年 提出 ,Kirkpatrick'”1 在 1983 年 成 功 地 
应 用 在 组 合 最 优化 问题 中 . 本章 先 介绍 模拟 退火 算法 ,证 明 它 的 收 
误 性 ,然后 讨论 算法 实现 的 技术 问题 ,最 后 用 示例 理解 它 的 应 用 . 


3.1 模拟 退火 算法 及 模型 


退火 是 一 种 物理 过 程 ,， -种 金属 物体 在 加 热 至 一 定 的 温度 后 ， 
它 的 所 有 分 子 在 状态 空间 D 中 自由 运动 , 随 着 温度 的 下 降 , 这些 
分 和子 未 渐 停 留 在 不 同 的 状态 . 在 温度 最 休 时 ,分 子 重新 以 一 定 的 结 
构 排 列 . 由 统计 力学 的 研究 表明 ,在 温度 了 ,分 子 停留 在 状态 > 满 
足 波 兹 曼 (Boltzmann) 概率 分 布 
| ， 


PriE = E(r)} = zn| ET 


其 中 ;E07) 为 状态 了 的 能 量 ,ea 全 0 为 波 赣 曼 常 数 , 五 为 分 子 能 量 
的 一 个 随机 变量 .ZC(T) 为 概率 分 布 的 标准 化 因子 
本 __ Ets) 
ZCIT) = Dexp| ET 上 


先 研 究 由 (3. 1) 确定 的 函数 随 工 变化 的 趋势 . 选 定 两 个 能 量 
E; 二;, 在 同一 个 温度 了 ,有 


C3. 1) 
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Pr(E = E)— Pr(E = E,) 


_ 1 | < ex | | | 
ZT EF 了 kaT™ | 


因为 


一 玉 :， 
exp| 一 守 | ,YT>0, 
Ral | 


所 以 
Pr 五 = E)~— PAE= E>O,YT>0. 《3. 2) 
在 同一 个 温度 ,3.2) 表示 分 于 停留 在 能 量 小 状态 的 概率 比 
停留 在 能 量 大 状态 的 概率 要 大 . 当 温 度 相当 高 时 ,(3.1) 的 概率 分 
布 使 得 每 个 状态 的 概率 基本 相同 ,接近 平均 值 17j 厂 | ,| 厂 | 为 状态 
空 间隔 中 状态 的 个 数 , 结合 (3. 2), 具 有 最 低能 量 状 态 的 波 兹 曙 概 
率 接近 并 超出 平均 值 1/ ;D1. 由 


PriE = ECr)} 
元 
Etr) ， _ ECs) 
em 全 sd Beexp| | ， 
ZT EO) ZFS 
(3, 3) 
当 rm 是 五 中 具有 最 低能 量 的 状态 时 ,得 
9Pr{(E = Er,))} 
0 
所 以 ,Pr{ 五 一 五 (run)) 关于 温度 全 是 单调 下 降 的 . 又 有 
i ze ee -THER， 
其 中 ,D, 是 具有 最 低能 量 的 状态 集合 ， 
a- Yom/ FR) 0, 70 


sE DE Er i) 


(3, 4) 
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因此 得 到 , 当 工 区 向 十 0 时 ， 
万 > 1 _ 
PriFE = Fr)} ID T— 0. 


当 温 度 趋 向 0 时 ,C3. 1) 决定 的 概率 潍 近 1/ 1D,|. 由 此 可 以 得 
到 ,在 温度 趋向 0 时 ,分 子 停留 在 最 低能 基 状 态 的 概率 趋向 1. 综合 
上 面 的 讨论 ,分 和 在 能 旦 最 低 状 态 的 概率 变化 趋势 由 图 3. 1(a》 

对 于 非 能 量 最 小 的 状态 ,出 (3. 2) 和 分 子 在 能 量 最 小 状态 的 
概率 是 单调 减 小 的 事实 ,在 温度 较 高 时 ,分 子 在 这 些 状态 的 概率 在 
171DI1 附近 , 依 束 于 状 守 的 不 同 , 可 能 超过 1/1D|; 由 (3. 3) 和 
(3.4) 可 知 存 在 一 个 温度 ft, 使 (3. 1) 决定 的 概率 在 (0,z) 是 单调 升 
的 ( 留 作 练 习 ); 再 由 (3.4) 可 知 , 当 温度 趋 于 0 时 ,(3. 1) 定义 的 概 
率 趋 于 0. 概率 变化 曲线 见 图 3. 1(b). 


Ca) 在 能 量 最 低 状 态 cb》 在 非 饮 量 最 桥 状 志 
图 3.1 波 慈 显 函 数 曲 线 


从 上 面 的 讨论 得 到 ,在 温度 很 低 时 { 荆 一 0} ;能 量 越 低 的 状态 
的 概率 值 起 高, 在 极限 状况 ,只 有 能 量 最 低 的 点 概率 不 为 零 . 可 以 
具 下 面 的 例子 了 解 (3. 1) 的 变化 规律 . 

例 3.1 简化 概率 分 布 (3, 1) 为 


-1 
ptr) 一 ge*P 


要 
一 于 |) 
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其 中 ,9(0 为 标准 化 对 于 . 设 共 有 四 个 能 量 点 2 二 1,2,3,4, 在 此 
GCC = Dexp| 一 到 | 观察 上 一 20,5,0,5 -个 温度 点 报 素 分 布 
变化 ， 

从 表 3.1 可 以 着 到 , 当 温 度 较 高 时 (z = 20) ,四 点 的 概率 分 布 
相差 比较 小 ,也 可 以 看 成 概率 是 均匀 分 布 , 但 能 量 景 低 状 态 二 1 
的 概率 0.269 超出 平均 值 0. 25. 这 相当 于 分 子 的 随机 游 动 , 当 温 度 
下 降 后 Gz 一 5) ,状态 xz 二 4 的 发 生 概率 变 得 比较 小 了 ,也 就 是 说 ， 
它 的 活 县 程度 下 降 . 当 r 二 0.5 时 ,x = 1 的 概率 达 0. 865, 而 其 他 
三 个 状态 的 概率 都 很 小 , 合 起 来 为 0.135. 在 这 个 表 中 也 可 以 看 
出 , 非 能 量 最 低 状态 上 一 2 的 概率 在 三 个 温度 点 (0.5,5,20) 有 
一 个 上 上升 和 下 降 的 过 程 , 在 上 = 20 和 5 时 的 概率 都 超过 平均 概率 
0, 25, 门 


表 3.1 1 一 20,5,0.5 三 个 沪 度 点 的 概率 分 布 


工 一 】 二 2 工 一 了 工 一 和 

上 一 20 OQ. 269 0. 25¢6 0. 243 0. 232 
了 二 由 ,329 0D, 269 0., 221 0. 185 

f= 站 0Q. 65 0.137 D. 018 0. O02 


通过 这 个 示 秽 ,我 们 可 以 将 组 合 优 化 问题 同 金属 物体 退火 进 
行 类 比 : 


组 合 优化 问题 金属 物体 
解 状态 
最 优 解 能 量 最 伏 的 状态 
次 用 立 数 能 量 


由 以 上 的 类 比 及 (3.1) ,组合 优 化 的 最 优 解 可 以 类 比 为 退火 过 
程 中 能 量 的 最 低 状态 ,也 就 是 温 庆 达到 最 低 点 时 ,(3.1) 概率 分 布 
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中 具有 最 大 概率 的 状态 . 于 是 组 合 优 化 问题 = 二 min {了 (x) |g(x) 
宇 0oxX DD} 的 求解 过 程 类 比 为 退火 过 程 ,其 中 了 是 有 限 离散 定 
在 这 : 章 中 , 除 特别 强调 外 ,我 们 都 假设 算法 用 以 解决 如 下 组 
侣 最 优化 问题 ; 
minF(xry 
5,.t. F(X) 人， 
ED. 
其 中 ftx) 为 目标 汕 数 ,g(x) 为 约束 方程 ,DD 为 定义 域 . 
简单 的 模拟 退火 算法 为 : 


模拟 退火 算法 

STEP1 任 选 -- 个 初始 解 zj :二 I: 不 :二 0;20 :一 tmax( 初 始 温 
度 ); 

STEP2 车 在 该 温度 达到 内 循环 停止 条 件 , 则 到 STEP3; 否 则 ,从 
邻 域 和 N(x) 中 随机 选 一 zx; 计算 入 fi 二 (x) 一 (x); 
车 入 庙 守 0, 则 x :二 x,, 否则 车 exp( 一 入 i/t) 记 
random(0,1) 时 , 则 x; :一 x); 重 复 STEP2?; 

STEP3 ri 一 ct 一 下 十 1;i 若 满足 停止 条 件 ,终止 计算 ; 
否则 , 回 到 STEP2. 


在 上 述 的 模拟 退火 算法 中 ,包含 一 个 内 循环 和 一 个 外 御 环 , 内 
循环 是 STEP2, 它 表示 在 同 - :个 温度 六 时, 在.- 些 状态 随机 搜索 . 
外 循环 主要 包括 STEP3 的 温度 下 降 变 化 如 1 :一 dx, 选 代步 数 
的 增加 二 :一 二 十 1 和 停止 条 件 . 这 些 内 容 将 在 3. 3 节 中 讨论 . 模拟 
退火 的 直观 理解 是 :在 一 个 给 定 的 温度 ,搜索 从 一 个 状态 随机 地 变 
化 到 另 一 个 状态 .每 一 个 状态 到 达 的 次 数 服 从 一 个 概率 分 布 . 当 温 
度 很 低 时 ,由 (3. 4) 的 讨论 ,以 概率 1 停留 在 最 优 解 . 这 些 理论 将 在 
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3.3 节 介 绍 、 

模拟 退火 算法 的 数学 模型 可 以 描述 为 :在 给 定 邻 域 结 构 后 , 模 
拟 退火 过 程 是 从 一 个 状态 到 另 - -个 状态 不 断 地 随机 游 动 . 我 们 可 
以 用 马尔 可 去 (Markov) 链 措 述 这 一 过 程 . 当 温 度 : 为 一 确定 值 
时 ,两 个 状态 的 转 穆 概 率 (transition probability) 定义 为 : 


人 是 了 天 1 
Putt) 一 | We (3. 5) 
1— DGAA), j=i, 
f=1 {i 


其 中 , | 五 | 表示 状态 集合 ( 解 集合 ) 中 状态 的 个 数 . Gta) 称 为 从 
到 了 的 产生 概率 (generation probabilityY, C(t 表示 在 状态 7 时 ,] 
状 态 寝 选取 的 概率 . 比较 容易 理解 的 是 7 是 :的 邻居 ,如 果 在 邻 域 
中 等 概率 选取 , 则 j 被 选中 的 概率 为 

G0 = {NIE NG), 0 

0， 7 & Cr)。 

4 称 为 接受 概率 (acceptance probability). A,(z) 表示 在 状态 : 
产生 了 后 ,接受 ;的 概率 ,如 在 模拟 退火 算法 中 接受 的 概率 是 


A Y= | 1, fF) 2 0), (3..7) 
exp( 一 信访 AD， FO) < FO). 
Cl = (Gs Ci) ox ols A{E) = (Avxp 和 PG = 
CP tt DY) pix ol 分 别称 为 产生 矩阵 ,接受 短 阵 和 一 步 转移 概率 


矩阵 . 

《3.52 (3.6), (3,7) 为 模拟 退火 算法 的 主要 模型 . 模拟 退火 
算法 主要 可 以 分 为 两 类 .第 类 为 时 齐 算法 ,在 (3.5) 中 对 每 一 个 
固定 的 ,计算 对 应 的 马尔 可 夫 链 变化 ,直至 达到 一 个 稳定 状态 , 然 
后 青 使 温度 下 降 . 第 2 类 是 非 时 齐 算法 ,由 一 个 马尔 可 夫 链 组 成 ， 
要 求 在 两 个 相 邻 的 转移 中 ,温度 上 是 下 降 的 . 

无 论 从 实际 和 直观 ,描述 模拟 退火 过 程 的 马尔 可 夫 链 应 满足 
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(了 可 达 性 . 无 论 起 点 和 如何 ,任何 一 个 状态 都 可 以 到 达 . 这 样 
使 我 们 有 得 到 最 优 解 的 可 能 ,否则 ,从 理论 上 无 法 达到 最 优 解 的 算 
法 是 无 法 采用 的 . 

(2) 渐 近 不 依赖 起 点 . 由 于 起 点 的 选择 有 非常 大 的 随机 性 ,我 
们 的 日 的 是 达到 全 局 最 优 ; 因 此 ,应 浙 近 的 不 依赖 起 点 . 

(3) 分 布 稳定 性 . 包含 两 个 内 容 ; 一 是 当 温 度 不 变 时 ,其 马尔 
可 夫 链 的 极限 分 布 存在 ;二 是 当 温 度 浙 近 0 时 ,其 马尔 可 夫 链 也 有 
权限 分 布 . 

(4) 收 敏 到 最 优 解 . 当 温 度 疡 近 0 时 , 景 优 状 态 的 极限 分 布 和 
为 1， 

下 一 节 将 从 理论 上 讨论 这 些 要 求 能 否 达 到 . 


3.2 马尔 可 夫 链 


设 [ 瑟 (jz 为 随机 变量 序列 ,和 (8) 二 i 称 在 时 刻 上 处 于 
状态 5 所 们 .自称 为 状态 宝 间 . 当 只 中 的 状态 数 有 限时 , 称 为 有 限 
状态 空间 . 若 对 任意 的 正 整数 =,{ 卫 (3 清 足 

PriX Cn 一 了 三 (17 一 天 ,其 (2 一 一 2 
= 1) 
一 Fr) = j|X(n 1) = i), 
ft 
则 称 {X (El 为 马尔 可 夫 链 ,简称 马 氏 链 . 马 氏 链 具有 一 -种 
记 刀 遗忘 功能 , 它 只 记忆 前 一 时 刻 的 状态 . (3. 8) 可 以 简单 地 记 成 
pstn Oo 1 一 了 rr) = Xn Oo 1) =1), 
称 为 一 步 转移 概率 . 当 状 态 空间 有 限时 , 称 为 有 限 马 氏 链 ,一 步 转 
移 概 率 和 矩阵 记 为 
Pea — 1) = (Cpln OO— 1 nwa 


(3.8) 


当 
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pln Oo 1) = pn) Yn, (3. 9) 
成 立时 , 称 蔚 氏 链 为 时 齐 (homogeneous 7 的. 用 
pF = Pr(X() = HIX(0) 一 站 ， (C3. 10) 


表示 n 步 转 移 概 宰 . 

例 3.2 当 温 度 t 给 定时 ,由 (3,5),(3.6),(3.7) 确定 的 马 氏 
链 是 时 齐 的 . 

由 (3. 5),(3.6),53.7) 可 以 看 出 ,一 : 步 转 移 概率 只 和 状态 i 转 
移 到 了 了 有关, 同 第 几 次 进 代 雹 关 . 因 紫 ,确定 的 马 氏 链 是 时 齐 的 . 正 
是 这 个 原因 将 这 一 类 算法 取 名 为 时 齐 算法 . LJ 

在 讨论 算法 的 收 敏 性 之 前 , 先 介绍 概率 论 中 的 常用 概念 ， 

车 存在 n, 使 得 pj” > 0,; 则 称 状态 i 可 达 状 态 j 了 , 记 成 :> j. 若 
状态 大 和 状态 了 满足 ;一 了 且 7 了 一 志 则 称 状态 z 和 状态 了 相通 , 记 成 
ie*j. 阿达 关系 具有 半 序 性 (semi-order)]. 

定理 3.1 车 ;一 17 一 天 , 刚 ; 一 到 

证 明 由 ?一 疡 则 存在 ” 司 得 六 > 0. 由 j 一 上 , 则 存在 汶 ， 
使 得 p> 0. 于 是 ， 

prt™ = PreXo dt m) = kX = 


no 


= 2 ,PreXtm — n= kX) 一 了 | 和 (0) 一 站 
2=0 


PIT 十 n) = 天 | 和 Ka) = LX = 
i Pr CX Cn) = 4X(0) = i) 
= YPreX Gn) = (X00) =D PrX tn) =L| X00) =7) 
> ppt 0, 
所 以 ,定理 成 立 . 口 


定义 从 到 达 j 的 首 达 时 刻 随 机 变量 为 
Ti = minfa|X(O0) =X =jn1}, (3,11) 
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其 概率 定义 为 
一 Pr ~ a|X(O)=7) 
一 PrCXtn)y = jn) 天 放风 一 1 2 一 了 天 (0) = 7), 
{3. 12》 


迟早 到 达 概 率 定义 为 


oo 


fy= Sf. (3.13) 


nz 二 1 


定理 3.2 fj; 半 0 的 充分 必要 条 件 是 i 一 

证 明 “充分 性 ”: 由 i 一 j, 则 存在 ,使 得 p> 0. 又 
pr = Pr{X(n) 一 j|XC0) = 

= Pr{iT, Sn,XCn) = j|X00) 一 了 


2 PHT, 一 二 于 Ca) = j|X(O) = 


t=1 


一 YPr{T, = 1X =iPr{X) = jIT, =(,X(0) = 7) 


t=1 

= DPr{Ty 一 引导 (0) =i}Pr{X0) ojIXOD = 7,0— 1) 
了 一 上 
jj RO 一半 


= JPr{T, = (X00) = Pr{Xn) = j|X(D) = 
i=1 


一 PE 
当 p87 守 0 时 ,至 少 有 一 个 i 使 得 >> 0, 由 此 ;得 > 0. 
“必要 性 ”: 若 i; > 0, 则 存在 nn, 使 得 ff? 人 0, 得 到 
pr fm pl = fr > 0, 口 
当 到 一 1 时 ,状态 i 称 为 常 返 的 , 当 过 1 时 称 为 非常 返 的 . 
定理 3.3 状态 了 是 常 返 的 , 则 以 概率 1 ,系统 无 穷 葡 返回 状 
态 工 状态 了 是 非常 返 的 , 则 这 概率 1, 系 统 只 有 有 限 次 返回 状态 二 
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证 明 “ 记 4, 人 mr) 表示 自 状态 ;出 发 ,系统 通过 了 状态 鞋 少 严 
次 的 概率 . 记 Y 了 ,tm) 为 失 状 态 工 出 发 通过 了 状态 至 少 可 次 的 随机 
变量 . 


Astm t+ 1)= PProT, = DY, (mm) | XO0) = 7) 
1 一 - 
= DPr(YjGn) {Ty 一 站 Pr(Ts = LX(0) =i) 
t=1 


= SA, m8 
4 一 1 


= A,(lm)f,, 
于 是 有 ,4 二 Ay(0)(f)” 二 万, 进而 ,4Gm 十 1) 一 
太太 和 所 以 ， 


A 二 了 二 y 器 
2 ™ 中， 了 1, ™ 
常 返 中 的 一 种 特殊 情况 为 正常 返 , 定 文 
了 一 Sf, 《3. 14) 


bn | 


当 之 oo 时 为 正常 返 , 当 ww 二 oo 时 为 零 常 返 . 定理 3. 3 表明 常 返 
是 以 概率 1 无 券 次 返回 向 一 状态 ,(3, 14) 表明 有 些 常 返 状 态 ( 正 带 
返 ) 的 平均 返回 次 数 是 有 限 的 ,而 有 些 是 无 穷 的 . 一 个 状态 i 称 为 
周期 {periodic) 性 正 整 数 ) 的, 如果 户 中 除 # 二 17,27,32,.…- 外 均 为 
0, 且 EE 是 满足 这 个 条 件 的 最 大 整数 . 不 存 在 周期 的 状态 称 为 非 周 
期 状态 . 非 周 期 的 正常 返 状 态 称 为 遍历 状态 . 

在 模 所 退火 的 理论 中 , 经 常用 到 的 一 个 概念 是 不 可 约 
Cirredueible). 不 可 约 中 用 到 的 一 个 概念 是 闭 集 . 一 个 集合 C 是 闭 
集 的 定义 为 :ViECEC, 有 zt 一 0. 这 表示 C 是 一 个 封闭 的 集 
合 交 EC 等 Ci 不 可 达 访 即 关 P 一 0, 对 任意 xa 成 立 . 除 整 个 状 
态 空 间 外 ,没有 别 的 闭 集 的 马 氏 链 称 为 不 可 约 的 马 氏 链 . 我 们 不 加 
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证 明 地 给 出 下 面 重要 的 结论 ,定理 3. 4 和 定理 3.5. 相 应 的 结论 和 
证 骨 可 参见 随机 过 程 的 教科 书 . 
定理 3.4 不 可 约 的 有 限 状 态 时 齐 的 马 氏 链 都 是 正常 返 的 . 
模拟 退火 中 用 到 的 一 个 重要 分 布 是 平稳 分 布 (stationary 
distribulion). 一 个 概率 分 布 {2,|j7 一 1;2 ); 妈 vv, 实 0,j 二 1,2， 


Dv, 一 1, 如 果 对 马 氏 链 的 -- 步 转移 概率 阵 P 二 (p;,) 满足 


VY = Sp,, 《3. 15) 
则 称 {v,17 二 1,2,……} 为 马 氏 链 的 平稳 分 布 . 
定理 3.5 非 周 期 不 可 约 时 齐 马 人 氏 链 是 正常 返 的 充分 必要 条 
件 是 存在 唯一 平稳 分 布 iv,|j 二 1,2.…} ,满足 


ap or 
—— > ， tm) 一 > 
vy Wipe VW pr 
i—1 i=1 
olimph >0 
7 mp = : 
Nn Hy 


其 中 把 由 (3.14) 定 六 给 出 . 

由 不 可 约 和 闭 集 的 定义 ,可 以 得 到 马 拓 链 是 不 可 约 的 一 个 充 
分 杂 件 .用 下 面 的 定理 叙述 : 

定理 3.6 有 限 状 态 时 齐 的 马 氏 链 是 不 可 约 的 一 个 充分 条 件 
为 : 任 给 两 个 状态 i 和 六 存在 ”使 得 加 "> 0. 

证 明 由 条 件 , 状 态 空 间 的 任何 一 个 走 子 集 趟 形成 财 集 . 反 
证 法 . 车 形成 闭 集 , 则 存在 C 和 jC 使 得 YiEC,j&@Ci 与 了 
是 不 可 达 的 , 即 p= 二 0, 对 任意 成立 .这 与 条 件 予 盾 . 因此 ,整个 
状态 空间 为 一 个 闭 集 ,是 不 可 约 的 . 口 

在 模 所 退火 中 ,要 用 到 的 一 个 重要 的 结论 是 定理 3.5. 定理 
3.6 对 有 限 状态 的 马 氏 链 答 出 不 可 约 的 一 个 充分 条 件 . 定理 3.5 中 
用 到 的 另 一 个 酸 念 是 非 周期 . 由 下 面 的 定理 ,给 出 判别 非 周期 的 一 


第 3 章 “模拟 退火 算法 101 


个 充分 条 件 . 
定理 3.7 车 i 和 ;相通 , 即 i<*j, 则 它们 或 同 为 非 周 期 的 或 同 
为 周期 的 . 


证 明 由 i 一 j, 存 在 nx 汪 1 和 ! 闻 1, 使 得 p 人 一 a 之 0 和 pp 引 
二 上 半 0. 类 似 定 理 3.1 的 证 明 , 本 得: 


站 《3. 16) 
六 人 《3. 17) 


再 由 局 期 的 定义 ,车 i 的 周期 为 2, 当 mm 基 + 的 入 数 时 ,有 pp" 

> 0. 再 由 (3. 16) ,得 到 
外 0 

则 十 甘 是 上 的 倍数 , 旦 由 (3.173 得 pg > 0. 当 m 不 是 1 的 倍 
数 时 , 因 上 十 二 是 上 的 倍数 ,得 ! 十 只 十 上 不 是 上 的 悦 数 ,由 (3.16) 得 
疡 名 一 0. 总 铺 上 面 的 讨论 ,十 = 是 上 的 倍数 , 当 严 不 是 :的 展 数 时 
得 p99 一 0, 故 状态 ) 是 周期 的 ,其 周期 不 小 于 上 同 法 , 当 了 是 周期 
的 ;可 知 z 是 周期 的 .于 是 ,它们 或 同 为 周期 的 或 同 为 非 周 期 的 . 口 

模拟 和 赴 火 算 活 可 以 分 为 时 齐 (homogeneous》 的 和 非 时 齐 
《inhomogeneous》 的 , 由 以 上 马 氏 链 性 质 的 讨论 , 收 敏 性 证 明 沿 用 
下 面 过 程 . | 

时 齐 算法 : 

(1) 在 每 一 个 给 定 的 温度 tt, 给 出 (3. 5) 的 一 步 转移 概率 ;人 1) 
的 一 些 限定 条 件 , 如 pstt) 满足 定理 3.6 和 定理 3.7 的 条 件 , 使 得 
定理 3.5 成 立 ,由 此 得 到 平稳 分 布 概率 


人 = limphh 0) 一 limPr( 和 Get) 一 让 生 (0 和 一念 一 二 人 0, 
其 中 ,Xtn,?) 表示 在 温度 上 时 , 马 氏 链 第 = 步 运 动 的 随机 变量 . 
(2) 给 出 平稳 分 布 应该 满足 的 条 件 ,使 得 : 当 温 度 渐 近 达 到 等 
度 时 ,平稳 分 布 的 极限 存在 , 即 要 求 5; 一 limw, (2). 
《3) 进一步 要 求 平 稳 分 布 的 极限 具有 全 局 最 优 性 条 件 
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I . 
mr [mT 2 EE TDnpT， 
D0, jE DDom, 

其 中 Doer 为 最 优 状 态 集 合 . 

综合 上 上 面 3 条 ,得 到 全 局 性 收 钱 的 表达 式 

lim {limPreX{n ,0) E Porr) = 1. 

对 非 时 齐 算 法 ,也 需要 下 面 的 条 和 忻 保 证 其 全 局 收 敏 性 . 

《17>》 因为 非 时 齐 算法 的 每 步 选 代 温 度 在 变化 ,因此 需要 给 出 
(3. 5) 一 步 转移 概率 pt) 的 -~- 些 限定 条 件 , 即 需要 给 出 A(z,) 和 
lia) 的 限定 条 件 , 使 得 非 时 齐 马 氏 链 能 收 争 到 一 个 分 布 . 

{2) 温度 是 渐 近 达到 零度 的 , 即 Ema 二 0. 给 出 保证 达到 全 局 
最 优 的 温 诬 变 化 关系 . 

(3) 最 终 要 求 上 面 (IL) 和 (2) 的 限定 条 件 使 得 limPr (XC ,tx) 
€ Dorr} = 1. 


3.3 时 齐 算法 的 收 急 性 


由 于 组 合 最 优化 问题 的 状态 空间 是 有 限 的 , 变 达 到 定理 3.5 
的 条 忻 , 由 定理 3.4 具 需 讨 论 模拟 退火 对 应 的 马 氏 链 (3. 5) 的 不 可 
约 性 和 非 周 期 性 即 可 . 由 定理 3.6, 有 限 状 态 时 齐 的 马 氏 链 是 不 可 
约 的 -个 充分 条 件 为 : 任 给 两 个 状态 和 j, 存 在 x, 使 得 pl? > 0. 
于 是 

定理 3.8 时 齐 算法 的 马 氏 链 是 不 可 约 的 一 个 充分 条 件 为 : 

Vijvty 有 A(t) > 0， 
且 存 在 9 守 1, doors ED, 上 二 i, = jj; 合 得 
Gr (F) > 二 0,1,",9— 1. 


证 有 明 当 : 是 给 定时 ,由 于 (3.5) 是 有 限 的 时 齐 马 兵 链 ,又 由 
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pe 之 Pr pri, "pr 


= A DG DAN DC A HG 人 

> 0， 
所 以 六 可 达 志 同 理 可 证 了 可 达 闷 于 是 再 由 特 理 3.6, 证 明和 不 可 药 缚 
论 成 立 . 口 


定理 3.9 对 给 定 的 :> 0, 若 存在 i 关子 E 也 ,使 得 4 二 
lopt > 0, 则 不 可 的 的 马 氏 链 是 非 周 期 的 . 


证 明 ”上 出 
Ea 
pAD=1— > AGr) 
f= 1 
fp! 
一 1 一 > AGAD) 一 A NG) 
一 1 
IPI 
>1— 2 GW)— G0 
了 一 1 
1 
一 1 一 >》 Gt) 
一 1 
= Gi(t) 守 0， 
此 时 ,za >0, 于 是 ,对 任意 状态 i 是 非 周期 的 . 再 由 定理 3,.7, 知 
结论 成 立 . 口 


定理 3.8 和 定理 3.9 给 出 存在 平稳 分 布 的 一 个 充分 条 件 . 进 
一 步 , 我 们 将 讨论 (3.5) 中 Atr) 和 G0) 所 满足 的 条 件 , 使 得 定理 
3.5 的 平稳 分 布 可 以 解析 地 表达 . 

定理 3.10 车 (3.5) 中 4G) 和 GC 满足 : 

(1 G0) 与 1 无关 ， 

(2) YY 27 所 DD 都 有 GG 一 且 存在 9 宇 1, di, ED，, 
i 一 下 一 六 使 得 

CD 一 0 一 1 


| 
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(3) ED FD 0) 并 (都 有 A(t) 一 
LE 

CY ED, 了 DD) 宇 10 ,都 有 ,04) 一 1 

(SI Yi ED 0 FO 之 IO; 都 有 0 二 AO0) 之 1; 
则 模拟 退火 时 齐 算法 的 马 氏 链 有 平稳 分 布 v 二 (viyv2y* vipl》， 
满足 

的 . 

Ay Yit€D, 


ED 


vt) = 《3. 18 


其 中 ,i 所 DorT: 

证 有 明 ”由 (4) 和 (5) 得 到 Yi,j,t 有 Ai(2) 半 0. 再 由 (1),(2》 
和 定理 3.8 知 时 齐 算法 的 马 氏 链 是 不 可 约 的 . 当 所 有 抄 数 值 相同 
时 , 每 一 个 解 为 最 优 解 . 若 目 标 值 不 是 同 -一 个 值 , 选 一 个 最 优 解 和 
一 个 非 优 解 , 由 (2) 和 (5) 知 定理 3.9 的 条 件 成 立 , 推 出 有 限时 齐 
的 马 氏 链 是 非 骨 期 的 . 因此 ,由 定理 3.5 知 平稳 分 布 存在 且 唯 一 . 
更 只 需 验证 (3. 18) 的 概率 分 布 满足 平稳 分 布 的 定义 . 由 


Dv Cpatt) 
1 


] 1 
一 去 QCODE 一 A (GA) 
人 am 下 o 
十 vA pit) 
= 5 AOG+ VY LADG, 4 op) 
KE roar EF 4 K iof [| i ps 
jr DE DA) 
= > Gt G6, + v0) pt), 
TFA 1D TD) 
其 中 ,下 二 > 4,,Q), 和 
JE 如 
VE pCE) 
一 wx(p)(1 一 p> 4DG5 一 YY A,00.) 
I DE 1D 
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- 1 ， 
uo > Go RAD ADG, 
ny 2 
一 一 mp > Bo» v6,, 
I DDE) ja Ft) 


推 由 
v(t) = Yi ve) pie) 


即 满 足 定理 3.5 的 平稳 分 布 方程 . 由 定理 3.5 的 唯一 性 结论 , 知 定 
理 结论 成 立 . 口 

很 容易 验证 , {3.7) 满足 定理 3.10 的 (3)(4)(5). (2) 要 求 任 
何 两 个 状态 或 互 为 邻居 或 互 不 为 邻居 , 当 互 为 邻居 时 ,它们 的 产生 
概率 相同 . 当 在 何 两 个 状态 或 互 为 久居 或 互 不 为 邻居 时 ,如 下 面 的 
产生 概率 : 


Gu = 所 VIE NE, 
0， 了 上 谍 NNC)， 
满足 C1) 和 (2) 的 名 ;二 Gi; 其 中 工 为 一 正 数 . (2) 的 其 他 条 人 性 需要 
邻 域 是 连通 的 . (3. 6) 形式 对 应 的 结论 将 在 以 后 的 定理 中 叙述 . 
定理 3.11 在 满足 定理 3.10 的 条 件 下 , 当 满 足 
中 门人 mA ln) 一 站 
时 , 则 有 
1 . 
limw,(2) 一 fe i € Porr, 
~ 0, i € D\Door. 
证 明 由 (3. 18) 


iED 
因为 DD 为 有 限 集 , 故 当 i 可 Dorr 时 ,有 
fF) io €E Dorr, 
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于 是 ， 
A 0, £0. 


所 以 结论 成 立 ， 口 

定理 3.10 和 定理 3.11 给 出 了 时 齐 算法 的 全 局 收 化 应 满足 的 
充分 条 件 ,但 这 些 条 件 的 限制 是 比较 强 的 ,如 (3.6) 的 发 生 概率 就 
不 一 定 满足 定理 3.10 的 (2), 研 究 模拟 退火 算法 全 局 收 喜 所 满足 
的 充分 条 件 是 理论 研究 的 一 个 方向 . 

定理 3.12 车 模拟 退火 时 齐 算法 中 的 4,(9 和 Gitt) 满足 定 
理 3.8 和 定理 3.9 的 条 件 , 且 存在 儿 (z ,zt) 满足 以 下 条 件 ， 

(1 YiED,+t> 0, 都 有 CFO) ,1) 0; 


[| 


(2) Vi E 了 D， 都 有 > GDGit4i( = 
一 .1 天 了 
1D| 


BF) YD) Gi A! 


r=1 HE 
(3) lim®zst) = 人 全 
0 1; 0; 
Birst) 
(4) Blr, 下 
C5) TY t > 0, 都 有 TO,1) 一 1， 


网 马 氏 链 的 平稳 分 布 为 


= Pr 一 get 


PFC ,EY 
PD) ECF 


ED 


UL) = 并， (3,19) 


1 
l,i€ED 
limw, (2) = | i C3. 20) 


0D, i 在 Doer. 
证 明 ”定理 3.8 和 定理 3.9 马 保证 平稳 分 布 存在 有 旦 唯一 . 下 
面相 证 明 (3.19) 为 平稳 分 布 . 由 (1) 知 (3.19) 定义 的 值 为 正 数 . 又 
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由 (2) 可 知 下 列 等 式 成 立 . 
Dp HDDG, HA 十 wp 


JJ 入 


- SDD GC， CA 十 vw pal) 


了 


一 上 (| >) + piln) | 
Pr 


一 一 v(t), 


其 中 ,天 一 2 PFO) "四 ,由 定理 3.5 平 称 人 务 布 和 唯一 性 知 53. 19) 


定义 的 值 为 平稳 分 布 再 由 定 理 中 的 (323(04305》 知 
FOO) 
DO I, So 
am -去 - 
? oD, DD) mo DI BO 


BO op st) 


. 1 。 
一 上 PG) 一 fopr yt) or i Dopr, 
me OBO — fopr,t) 


limw, {£) 一 lim 


D， 工 辣 Dorr， 
其 中 ,jorr 表示 最 优 目 标 值 .(3. 20) 得 证 . | 
现在 讨论 (3. 6) 在 一 些 特 定 的 条 件 下 ,平稳 分 布 的 存在 性 和 
表达 式 形 式 . 


定理 3.33 车 4,(2) ,Gi(2) 满足 定理 3.10 中 除 (27 以 外 的 条 
件 , 及 定理 3. 10 条 件 (2) 改 为 :任何 两 个 状态 i 和 或 交互 为 邻居 
或 不 为 , 且 Gj(1) 满足 


1 . 
Yi€eD, cm iE NO, 
0， J 也 NN(G)， 
状态 空间 对 邻 域 连通 . 则 平稳 分 布 是 
[IN 1A, CG) | 
v(t) = YiE€ED. (3, 21) 


2 NOD TA CY 


ED 
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证 明 让 状态 空间 对 邻 域 连 通 的 条 件 . 定 理 3.10 的 (4) 和 
(5) ,得 到 定理 3.8 的 条 件 满 足 , 内 此 马 氏 链 为 不 三 约 的 , 很 容易 验 
证 定理 3.9 的 条 件 满 足 , 所 以 非 周期 性 得 证 .由 定理 3.5 得 到 分 布 
存在 且 堆 … 下面 验 证 53. 21) 是 平稳 分 布 . 


Dv pd) 


2 


IJNCD1 ING)| 
一 A GA + eA tt) 
有 天 K " 
， SN ， LNCD1 
Xo > GDAD)+ > 一 让 4uG)Gr4dxG 
t= 5 fi 
1 [NC | 
了 7 2 kaya 十 EE tt) 
x (1 一 BB) GAD)Ailn) 
区 人 
ED 


=- > RADAAO FOOD DT lA,A0) 


i Senn IE NOY IT K 


其 中 ,天 一 2 NCD14,(2). 由 任何 两 个 状态 或 相互 为 邻居 或 不 
为 ,考察 


1 1 
2 RAOA— > 站 wz) 


J EE NE HT 


一 >) 1 (27) 十 >» A CF 


ro 
I FENCD DE K EF EN AINA 天 


1 1 
— A ;一 一 =- 由. 
A ve rw 天 2 RR 


EM Hi OD) 
一 0 
因此 ,(3. 21) 是 平稳 分 布 . [DD 
例 3.3 四 个 状态 1,2,3,4 的 邻居 分 别 为 
NOD) = {1,2}, N(2) = {1,2,3,4}, 
N(3) = 12,3,4}, NCG4) = {2,3,4). 
很 容易 验证 ,它们 满足 或 互 为 邻居 或 互 不 为 邻居 的 假设 . 但 需要 注 
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大 的 是 定理 3. 13 定义 的 Gu 不 满足 Gu 一 Cs 如 Cus 一方 和 Gs 


= 于 .这 个 例子 说 明定 理 3. 13 成 立 的 条 件 比 定理 3. 10 成 立 的 条 


件 要 广泛 . 口 
满足 4t2) 各 QC) 为 非 周 期 不 可 约 还 有 其 他 形式 的 一 步 转移 
概率 ,如 文献 [3] 给 出 的 发 生 概 率 为 


存在 | 忆 | X | 五 | 人 秆 阵 @ 满 足 
gr 了 全 得 息 一 Qjys 


- , ， 加 &, 
于 i D,i EN(i) 使 得 GG 一 SG 
iED 
它 的 平稳 分 布 为 : 
| 2 Q 4 
wf) 一 YiED. (3. 22) 


> > Qi) 4) 


+z€ED 


{3.22) 的 证 明 局 定理 3. 13 的 证 明 类 似 , 读 者 可 以 自己 证 明 . 
文献 [4] 给 出 接受 概率 为 


A (EY = 1 十 exp| 7 《3. 23) 


它 不 满足 定理 3. 10 的 (2)(3),; 但 它 的 平稳 分 布 是 
A) — forr 
上 
A ~— 2 ， 
i 


A 7 


exp| 


w(t) = YiED. (3.24) 


Derp| 


IE 


3.4 非 时 齐 算 法 收 敏 性 简介 


非 时 齐 算法 一 步 转 穆 梳 率 的 形式 为 ， 
Pitk — 1,E)= PrCX(R) = jIX(E 1) = 7)) 
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Gt A a) Yi 
一 El £3.25) 
1 一 > Gut ) At), 于 一 1 


t=. 
其 中 ,1 宇 4,limm 二 0. 一 步 转 移 概 六 矩阵 为 ;PGR 一 1,&) 一 
{pit 一 1 上)) pixiol 多 步 转移 概率 pilm,*) 表示 第 mr 步 在 状态 
第 记 步 在 状态 了 的 转移 概率 . 
出 于 第 3.2 节 对 非 时 齐 算法 的 要 求 ,我 们 需要 了 解 收 黎 性 的 
一 些 定义 . 
定义 31 若非 时 齐 马 氏 链 满足 下 列 条 件 , 则 称 为 弱 遍 历 
(weakly ergodic), 
Yi Dm2l1, 
Um Cpakm sk) 一 pCim,k)) = 0. 
这 个 定义 说 明 ,无 论 起 点 如 何 , 当 运动 步 数 增加 时 ,到 达 现 一 
状态 的 概率 新 近 相 局 . 这 是 一 种 失去 记忆 功能 . 
定义 3.2 车 存在 向 量 y 二 (ons， :zlol)， 满 足 
3 二 1， Yiv 守 0， 
且 有 
VijEtE Dm 1, 
lnm = 
则 称 非 时 齐 马 氏 链 为 强 遍 历 (strongly ergodic). 
定义 3.2 的 意义 是 马 氏 链 的 渐 近 稳定 性 . 与 时 齐 算 法 相同 的 
思路 ,需要 研究 (3. 25) 的 一 些 限定 条 件 , 使 得 非 时 齐 马 氏 链 具 有 
定义 3.2 的 强 遍历 性 质 . 局 时 ,使 得 分 布 ， 一 (ol,pz yz) 具有 
全 局 最 优 的 性 质 . 我 们 不 加 证 明 地 给 出 下 面 的 定理 . 
定理 3.14[5 一 个 非 时 齐 的 马 氏 链 是 弱 遍 历 的 充分 必要 条 
忻 是 存在 一 个 严格 上 升 的 正 序列 (二)_64.… ;使 得 
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DI 一 本 (PC 一 co (3. 26) 


二 一 全 
其 中 ;mtCP) 一 1 一 min lmin(piy pi) sP = (pr) 


定理 3. 15" 一 个 非 时 齐 的 马 氏 链 是 强人 遍历 的 充分 必 槛 条 
件 是 : 马 氏 链 是 弱 遍 历 且 存在 号 上 一 1,8) 的 特征 值 为 1 的 特征 向 


IDI 


大 VR) = CoC) ,a(R) sp) 贰 得 > |v, Ch) | 一 1, 且 
z=1 
| 


OO wt 1)| < (3. 27) 


另外 , 若 Y = limV 8), 则 VV 满足 limpij(m,&) 一 吕 

分 析 定 理 3.14 和 定理 3. 15, 在 给 定 温 度 所 以 后 和 一 步 转移 概 
率 满足 一 定 的 条 件 时 ,由 3.3 节 对 时 齐 算法 的 讨论 ,存在 平稳 分 布 
YO) 一 《antsososftr vo (7), 现在 的 主要 内 容 是 讨论 如 何 
选择 二 ,使 得 : 

《1) 蕊 氏 链 福 足 定理 3.14 的 (3, 26)， 

(2) PO = (Cot) vatti) ren svn (i)) 满足 [3. 27) ， 

(3) 极限 分 布 7 满足 全 局 收 敏 limPrc{ 瑟 (下 ) € Dom}=1. 

定理 3.16 在 温度 上 时 ,一 步 转移 概率 (3.5) 中 的 4) 按 
(3.7) 定义 , 即 

1， fF) fF(7), 
Ailt) -1 c 


AF 
一 fa), f0) < 10), 
GO) 为 
1 。 . 
TT? N 了 
Vie p'6, | IE Ne 《3. 28) 
0， jE& NO, 
当 
存在 名 汪 2, 使 得 YE 沁 b， 4 守 DS (3.29) 


logk 
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其 中 ， 

Afrer — max{ FD E D} — min{f (0) i € D}, C3.30) 
则 马 氏 链 1 六 (E500)4- 3.2,-… 为 蝇 遍 历 . 

文献 [7?] 首 先 证 明了 满足 定理 3.16 条 件 的 马 氏 链 具 有 弱 收 黎 

性 . 再 由 定理 3. 10,(3.7) 和 (3.28) 决定 的 马 氏 链 有 (3.24) 的 平 
稳 分 布 , 即 

FD) 一 fopr 
exp| 一 一 | 


>1exp| 一 


村 


可 以 验证 53. 31) 满足 (3. 27)( 留 作 练 习 ), 于 是 , 非 时 齐 马 反 链 是 
强 遍 历 . 由 定理 3. 11 和 40) 的 性 质 , 知 本 定理 对 应 的 非 时 齐 马 氏 
链 收 伍 到 全 局 最 优 解 , 即 

limP (CX (k) 全 Dorr) 二 1. 
务 外 , 沪 度 填 降 的 最 快速 度 为 


_ [DIAfbw 
4 logk 


关于 非 时 齐 算法 的 下 降 速度 还 有 一 些 其 他 精细 估计 . 在 定理 
3.16 的 条 件 于 ,文献 [8] 中 证 明了 ;温度 下 降 满 足 


六 
Yk 2， > ok (3. 33) 


其 中 ,A 二 max {六 一 了 (DEE D,jEN(D)),z 是 从 任何 一 个 状 
态 可 达到 最 优 解 的 转移 步 数 的 上 限 , 明 显 不 超过 |DD| ,是 nw 的 倍 
数 . 
非 时 和 齐 马 氏 链 收 钙 的 -个 充分 必要 性 在 文献 [9] 中 给 出 ,下 
面 给 出 党 深 的 定义 . 
定义 3.3 = 使 得 
1 0 k=01,0p—1, 


Cin, 


Pit = YiED. C1.31) 


FE 


_ AD ze] ” 


(3. 32) 
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FDI EEL, k=0,l,",p, 
其 中 ,G( 为 (3. 6) 的 产生 概率 , 则 称 状态 7 以 高 度 工 达 j. 一 个 深 
度 不 超过 工 的 省 定义 为 Vi ,满足 
V5= 7EDIYiE Vi 以 高 度 工 达 上 . 
谷 的 实际 深度 可 以 和 由 
Ve 一 mn{(fDII EE VL), 
Vi=min(f( | & VAIiE VG, >0), 
的 差 奖 定 , 即 谷 深 DD 二 i 一 Vi 谷中 的 一 个 局 部 最 小 点 i 可 以 看 
成 状态 : 无 法 在 高 度 了 0) 达到 其 他 状态 j. 
定理 3.17 若 一 步 转移 概率 由 (3.25) 的 形式 给 出 , 且 4(4,) 
取 (3.7) 形式 ,G(ri) 满足 
《1) GC) 据 定 的 马 氏 链 对 任意 给 出 的 i 和 j, 存 在 i = 六， 
… ,is 二 7， 使 得 
Gi > 0, k=0,1,m,p— 1; 
《2) 对 一 实数 工 和 任意 两 个 状态 i 和 j,i 以 高 度 工 可 达 j 的 充 
分 必要 条 件 是 7 以 高 度 工 可 达 i，; 
(3) 友之 nolimts 二 0; 车 4 是 所有 不 包含 最 优 解 谷 的 最 大 从 
深 , 则 有 
limPr CX(k) € Dopr) 一 1 


的 充分 必要 条 件 是 
en 
从 定理 3.16 和 定型 3.17 可 以 看 出 ,模拟 退火 非 时 齐 算法 全 
局 卜 敏 的 一 个 充分 条 件 是 温 庆 下 降 具 有 形式 
上 1， 《3. 35) 


其 中 研 是 一 个 同 问 题 相关 的 参数 . 如 定理 3.16 中 ， 
D2 |DIAfm, 


一 2)= oo. (3. 34) 
Es 
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《3. 33) 式 中 卫 送 经 :定理 3.17 中 的 全 取 所 有 不 包含 最 优 解 
谷 的 最 大 深度 . 


3.5 ”实现 的 技术 问题 


前 面 各 节 介 绍 了 模拟 退火 的 算法 结构 ,模型 ,时 齐 和 非 时 齐 算 
法 的 收 合 理论 - 本 节 从 应 用 的 角度 讨论 算法 实现 中 的 一 些 技术 问 
是 主要 包括 解 的 此 式 .分 域 的 均 成 .初始 温度 的 选取 、 温 度 下 降 的 
规则 .每 一 温度 马 FF 链 的 选 代 步 长 和 停止 规则 等 . 由 非 时 齐 算法 的 
收 敏 嫩 论 怠 知 , 其 下 降 的 规则 是 有 固定 形式 的 .因此 ,本 节 所 讨论 
的 技术 问题 以 时 齐 算 法 为 主 . 

从 前 见 节 的 理论 研究 还 可 以 看 出 ,按理 论 要 求 达到 平稳 分 布 
来 应 用 模拟 退火 算法 是 不 可 能 的 ,这 是 因为 时 齐 的 算法 要 在 每 一 
个 温度 迁 代 无 穷 步 以 达到 平稳 分 布 , 而 非 时 齐 要 求 温 度 下 降 的 夺 
代步 数 是 指数 次 的 . 从 应 用 的 角度 来 看 ,在 可 接受 的 时 间 里 得 到 满 
意 的 解 就 可 以 了 ,因此 本 节 介 绍 的 技术 问题 无 法 保证 模拟 退火 算 
法 得 到 全 局 最 优 解 . 应 用 这 些 技术 的 模拟 退火 算法 还 是 一 种 启发 
式 算法 . 

由 于 本 节 是 讨论 应 用 的 技术 问题 ,因此 , 它 同 理论 部 分 有 一 定 
的 联系 ,同时 可 能 相差 较 远 . 部 分 技术 问题 虽说 给 出 了 一 些 理 论 结 
果 .但 这 些 结果 是 指导 性 的 . 


3.5.1 解 的 形式 和 邻 域 结构 


解 的 形式 和 邻 域 结构 是 一 个 老话 题 ,在 第 2 章 中 已 讨论 . 本 节 
再 度 过 论 这 个 问题 以 引起 读者 的 注意 . 解 的 表现 形式 直接 决定 于 
邻 域 的 构造 . 

第 1 个 问题 奶 Fr) 一 20< 扫 工 世 100 为 整数 . 它 的 解 可 以 
采用 0-1 编码 , 即 
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S -| 1 2 -- 7 
其 中 , 解 5 的 上 面 一 行 表 示 7 个 位 置 ; 下 面 的 * 是 0-1 码 ,对 应 了 的 
二 进 制 得 , 解 的 一 个 部 域 自然 可 以 构造 成 
NS == {S15S 是 一 个 0-1 码 且 1S 一 8 | 
7 《3. 36) 
一 人 15 一 叶 | 二 大 关 ] 整数). 

第 2 个 问题 如 第 1 章 例 1.2 的 TSP 这 一 类 问题 ,可 采用 个 
城市 的 一 个 排序 表示 问题 的 -- 个 解 . 很 直观 可 通过 城市 间 不 同 共 
鄙 交 和 痪 构造 音域. 以 上 两 个 问题 的 共 筒 特征 是 ;(1) 每 -个 邻 域 所 
会 的 状态 个 数 相同 ,如 第 1 个 问题 中 每 个 邻 域 中 都 有 (全 十 Ce 十 
一 十 局 个 邻居 ,TSP 中 车 采用 2-opt 则 每 个 邻 域 有 C: 十 1 个 分 居 ; 
2) 每 个 邻居 都 是 可 行 解 ;(3》 空 间 中 的 任何 两 个 状态 可 达 , 于 是 
由 时 齐 算法 的 理论 ,只 要 接受 概率 满足 一 定 的 条 件 ,一 定 以 概率 : 
收 化 到 全 局 最 优 解 . 

问 寿 解 的 表达 式 和 邻 城 结构 ,将 第 1 个 癌 题 的 方法 应 用 到 带 
包间 题 时 ,第 2 个 问题 的 方法 应 用 到 车 间作 业 问 题 { 第 2 音 2.4.2 
节 ) 由 于 背包 癌 题 有 包容 积 约 束 的 限制 和 车 个 作业 的 死 锁 现 象 ， 
充 法 保证 每 个 分 砧 中 分 居 都 是 可 行 解 . 处 理 这 个 问题 有 两 类 方法 ， 
一 个 是 用 蚀 阔 数 将 不 可 行 解 可 行 化 ,这 使 得 问题 转化 为 上 面 讨论 
的 两 个 局 题 , 原 有 的 方法 可 以 继续 使 用 . 采用 罚 函 数 的 方法 对 不 可 
行 解 进行 处 理 时 ,一 个 主要 缺陷 是 引起 搜索 区 域 的 扩大 ,从 而 使 计 
算 时 间 增 邵 . 为 了 克服 这 个 不 足 , 田 一 个 方法 是 研究 解 和 邻 域 结 
构 , 从 理论 上 保证 模拟 退火 算法 雇 慨 率 1 收 俩 到 全 局 最 优 解 . 这 一 
个 方法 要 求 对 问题 有 相当 深入 的 了 解 ,因此 ,可 以 说 其 难度 是 比较 
大 的 , 通过 下 而 的 例子 来 了 和 解 罚 函数 引起 了 搜索 区 域 的 扩大 . 

例 3.4 至 包 癌 题 ;三 个 物品 ,体积 分 别 为 {5,3,1}, 包 网 容积 
为 4; 则 { 《0,0,0)，(0,1,0),， 《0,0,1)，C0,1,1)} 是 可 行 解 集合 . 
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若 采 用 罚 值 的 方法 ;, 则 解 和 {1,0,0)， (1,1,0}), C1,0,1), (1,1,1))} 
也 成 了 搜索 的 对 象 ,于 是 搜索 空间 扩大 了 -一 倍 . 品 

罚 什 的 方法 可 以 很 简单 地 保证 理论 要 求 的 不 可 约 和 非 周期 
性 .但 如 此 计算 -~- 定 会 增加 计算 时 间 , 而 有 时 增加 时 间 之 多 基 不 可 
以 接受 的 . 如 按 例 1.2 的 TSP 的 表示 方法 ,车 商人 走 必 ,站 颖 则 zz, 
一 1; 否则 x 一 0. 这 样 每 一 个 解 的 维 数 是 n X (an 一 1), 每 个 分 量 
了 又 0 或 1, 一 共有 2 ?个 解 .但 是 这 些 解 只 有 一 部 分 是 可 行 解 ,车 
盘 设 每 两 个 节点 有 红 相连 ,固定 一 个 城市 为 始终 点 , 则 对 应 所 有 可 
行 解 可 以 用 所 有 城市 的 排列 表示 ,其 排列 最 大 数 , 即 可 行 解 数 为 
Cn 一 1)1. 着 困 用 例 1.2 解 的 表达 形式 和 对 不 可 行 解 采用 罚 值 的 
方法 , 则 将 搜索 2 5 一 (x 一 1)1 个 不 可 行 解 . 搜索 空间 扩大 


至 [一直 1 
一 7 售 . 当 二 5 时 ,扩大 代数 了 i ~ 4 37 X10', 当 nn 


= 10 时 ,扩大 代数 ~ 3.41 X 1021. 

为 六 节省 时 间 , 可 以 考虑 在 可 行 解 集合 内 构造 分 域 ,如 第 2 章 
车 间作 业 问 题 的 分 域 构造 . 后 一 种 方法 是 需要 对 问题 本 身 的 结构 
有 很 好 的 了 解 且 需要 较 强 的 理论 支持 , 这 种 方法 需要 类 似 3.4 节 
和 3.5 节 那 样 从 理论 上 证 了 明 对 应 的 马 氏 链 有 全 局 最 优 性 ， 

在 此 , 邻 域 的 构造 同 计 算 时 间 紧 密 联 系 在 一 起 ,也 就 产生 了 对 
实际 问题 的 理论 分 析 间 实际 庶 用 的 矛盾 . 从 科学 的 角度 ,我们 希望 
对 问题 进行 较 深 人 的 理论 研究 ,构造 比较 精巧 的 邻 域 结 构 , 这 样 可 
以 节省 大 量 的 计算 时 间 , 不 得 不 承认 ,在 大 量 的 实际 应 用 中 , 受 各 
种 客观 因素 的 影响 ,人 们 对 问题 还 无 法 深入 地 了 解 , 且 在 有 些 情 况 
下 , 人 人 们 关注 的 是 应 用 的 效果 ,而 不 去 研究 问题 的 结构 和 收 敦 性 ， 
直接 将 算法 套用 于 实际 问题 . 


3.5.2 温度 参数 的 控制 
温度 参数 是 模拟 退火 时 齐 算法 中 一 个 最 关键 的 参数 之 一 , 主 


第 3 章 模拟 退火 算法 117 


要 包括 起 始 温 度 的 选取 .温度 的 下 降 方 法 和 停止 温度 的 确定 等 . 

1. 起 始 温 度 的 选取 

从 埋 论 上 来 说 ,起 始 温 度 加 应 保证 平稳 分 布 中 每 一 状态 的 概 
率 相 等 ,也 就 是 使 

生 太 1 
exP| -一 入 ,> 1， 
很 容易 情 计 一 个 值 资 
to 二 民 6， 民 充分 大 的 数 ， (3. 37) 
其 中 ， 
= max{f (D1 ED} — min(f()|j € DD)}. 

实际 计算 中 ,可 以 透 天 一 10,20,100*: 等 试验 值 . 

对 一 些 问 题 , 有 时 可 以 简单 地 悄 计 如 例 1.2 的 TSP, 记 对 应 
的 距离 矩阵 为 (di,),x,; 则 


max{f (DI ED} EE DY max{ds|j ij = 1 ,1), 
t+-1 
min{f (Dj E D} 2 Dmin{dy|j Fi = 1,2, ,nn)}, 
i=1 
dj 二 maxtdslj #7 一 1 2 


一 Dminta, 上 了 天 了 一 1],2." 7 nn}. 


则 可 用 闵 替代 (3. 37) 中 的 9 

再 如 2.4.2 的 丰 间 作业 调度 问题 , 记 第 ;1 和: 扫 z) 个 工件 的 
第 六 1 所 7 所) 工序 的 加工 时间 为 pj. 完成 的 最 短 时 间 是 所 有 工 
件 都 从 时 刻 零 开始 加 工 且 每 一 台 机 器 都 漫友 闲置 ,此 时 


min{ 站 | 五 } > max{ Dp i= 1,2,n)}. 
完成 的 最 长 时 间 是 调度 最 坏 情况 


tmax{rP17E DD} 5) Dp 


i—l 3m"1 
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令 


-DY 一 max (Dp 性 一 1 2.， 和 上 
则 可 用 5。 茜 代 (3. 37) 中 的 
但 有 的 时 候 , 会 出 现 引 比较 难 估 计 或 很 难 精确 地 知道 最 大 值 
和 最 小 值 而 使 土 面 的 估计 太 粗 . 另 奸 ,大 的 选取 过 大 会 造成 计算 时 
间 的 增生 ,KK 过 小 则 使 算法 过 日 陷入 局 部 最 优点 , 由 此 产生 数值 计 
算 估计 和 和 统计 推断 估计 方法 ， 
数值 计算 估计 方法 的 基本 思想 是 给 出 一 个 值 加 (xu 接近 1, 如 
Xo 二 0.9,0.8 等 ), 对 给 定 的 初始 温度 ,用 以 下 的 算法 : 


初始 温度 数值 计算 算法 

STEP1 纵 定 一 个 常量 了 ;初始 温度 toyXosRo 一 0 让 :一 14 

STEP2 在 这 个 温度 选 伐 工 步 代 为 一 个 给 定 的 常数 ) ,分 别 记录 
模 拟 退 火 算法 中 接受 和 被 拒绝 的 状态 的 个 数 ,计算 接受 
的 状态 数 同和 迭代 步 数 工 的 比率 R,; 

STEP3 当 | 肪 一 | 之 e 时 ,停止 计算 ;否则 , 当 R11 和 RR, 过 
时 , 则 是 :一 下 十 155 :一 而 十 了 ,返回 STEP2; 当 只， ,和 
Ri 汪 庆 时, 则 上 :二 下 十 1,t0 :二 二 一 了 ,返回 STEP2; 当 
Ri 1 全 有 且 Ri 和 Xo 时, 则 大 :一 站 十 1,t6 :二 二 十 Tj/2， 
:二 了 /2, 至 回 STEP2; 当 RR 加 且 妃 实时; 则 
:一 站 十 1 :一 后 一 人 了 /2, 返 回 STEP?. 


通过 数值 计算 ,可 以 知 计 出 温度 二. 

针对 (3.37) 中 6 二 max{fOD|jED} min{fOQ}|jE€ED} 上 比 
较 难 得 到 ,通常 采用 统计 的 方法 估计 费用 函数 的 上 下 限 . 统计 的 方 
法 总 是 在 一 定 的 概率 分 布下 研究 问题 的 均值 .方差 等 , 假设 
FD iE D} 是 -个 大 样本 空间 , 且 服 从 正 访 分 布 , 邑 : 了 (|i € 
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局 ) 的 密 座 函数 为 
gtr) 一 exp| 一 | . 
从 状态 空间 DD 中 随机 选 ni 个 独立 样本 {及 ;|i 一 1 2 sn , 样 
本 均值 统计 和 量 为 
FX SD) — DA), (3. 38) 
样本 方差 统计 量 为 
PED -=D XY FADY. (3.39) 
1 一 1 
由 概率 论 的 分 布 特性 ,(3. 38) ,(3. 39) 分 别 是 mos 的 统计 量 , 用 它 
们 作为 近似 ,以 3 原则 ,目标 值 以 99.97% 落 人 (jy 一 30,g 十 
30)( 参 考 [L10]) ,简单 的 区 间 近 似 为 
[FE 一 3 vA FFE FE 二 3 v 天 CD). 
生计 (C3.37) 的 


3 一 6 v 严 基站， 

2. 了 时 章 算法 的 温度 下 降 方 法 

出 于 非 时 齐 算 法 温度 下 降 具 有 固定 的 形式 ( 见 3,4 节 ), 因 此 ， 
这 里 只 讨论 时 齐 算法 的 温度 下 降 方 法 . 从 实际 应 用 来 看 , 非 时 齐 算 
法 的 下 降 速 度 太 慢 , 可 以 有 变通 的 形式 以 利于 节省 竺 靶 时 间 ,在 此 
不 讨论 ， 

时 齐 算 法 的 理论 要 求 角度 下 降 到 零 , 整 个 系统 以 概率 1 收 伍 
全 局 量 优 解 . 无 论 直观 理解 还 是 理论 要 求 ,温度 总 是 下 降 的 ,因此 ， 
一 个 非常 直观 的 下 降 方法 是 : 

CD tr 二 4: 浊 字 0; 其 中 0 过 a 之 1.4 越 接近 1 温度 下 降 得 
越 慢 . 这 种 方法 简单 易 行 , 很 受 应 用 大 员 的 欢迎 . 它 的 每 一 步 以 相 
同 的 比率 下 降 . 


(2) 所 一 全 交 生 ,其 中 心 为 起 始 温度 ,天 为 算法 温度 下 降 的 
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总 次 数 . 这 一 下 降 的 方法 的 优点 是 易于 操作 ;而 且 可 以 简单 地 控制 
慢 度 下 降 的 总 步 数 . 它 的 每 一 步 下 降 长 度 相 等 . 

《3》 这 一 下 降 方 法 以 理论 中 的 平稳 分 布 为 依据 ,通过 推导 而 
得 到 . 为 了 方 使 以 后 的 讨论 ,首先 在 温度 ,定义 


F000) = DN FVvdt), (3. 40) 
i 二 
(FD = > Fm), 《3. 41) 
ED 
fl = TDF, (3. 42) 
1 一 1 
fF) = HIP). (3. 43) 
r 一 二 


〈3. 40) 和 《3. 41》 分 别 是 平稳 分 布 时 的 期 望 秆 和 二 阶 和 矩 值 . 
(3. 42) 和 (3.43) 为 温度 + 模拟 退火 有 # 个 样本 的 均值 和 二 阶 和 矩 值 . 
为 以 后 使 用 方便 , 先 讨论 (3.40》 和 (3. 41) 的 一 些 基 本 性 质 . 

定理 3.18 若 A() 和 Gt) 满足 定理 3.13 的 条 件 , 且 AGQ} 和 
cf 分 别 满 足 !3.67 和 <3,7), 则 


Ft CN} Co (fy? 
(1? dz i ” 


C2) 《AQ)) 为 变量 上 的 单调 升 函数 , 上 日 (fGD》 -> (iopr)， 
tt— 0. 

(3) 当天 tom 时 ,平稳 分 布 wt 在 上 一 0 的 一 个 部 域 内 为 了 
的 单调 升 阔 数 , 当 : 二 iorr 时 ,平稳 分 布 mi) 为 1 的 单调 减 函 数 . 

、 df .、 du?) 

证 明 (1) 一 本 一 一 7 pt 

由 


[NY) lexp| 一 /一 jem 
了 (7 一 | 


v(t) 一 
DINO) |exp 


ED i 
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| 和) lexp| 一 | 
S; ING)lexp| ~ 2) 
IE : 


Gy》 lexp| 一 | 


¥YiE€D, 


wei 一 | 
do (1) 和 | CD lexp 4 
di dr 
ING lexp{ — 0) ye 》 


1 


ND lexp{ ~ LO) SND | LP exp{ — LD 
1 ED 去 所 
KK: 


DF wl)) 
A: 2 * 


其 中 ,天 一 DIN(7|exp| 一 


i€ED 


£2). 于 是 ,可 得 


df) CRO) — (Cf 
dz 下 “ 


(2) 由 


dF 0)y 人》 
dr 和 四 


DD ~ Fv) 


ji 六 


下 
0， 
得 (joy 对 上 单调 上 升 .再 由 定理 3. 11 很 易 证 {f0)) Fior)， 


上 0. 


(3) 由 (1) 的 证 明 ， 
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do) oD vn 
ad 可 ， 


当 : 和 尖 zropr 时 , 若 FG) Forr 二 8 六 上 0, 出 (2) 的 结论 ,在 在 


- dr 
0 当 0 和 时 opr) 十 8 十 是 ， 2 ) 0, 故 


ztty 在 上 一 0 的 一 个 邻 域内 为 上 的 单调 升 蚌 数 . 同 法 可 证 , 当 ; 一 
topr 时 ;于 称 分 布 zt) 为 上 的 单调 减 函 数 . 口 

假设 在 相 邻 温度 ,其 平稳 分 布 的 变化 相对 稳定 . 由 定理 3. 18， 
六 移 分 布 的 变化 相对 稳定 等 价 于 用 数学 公式 表达 : 弟 定 一 个 较 小 
的 止 数 6, 相 邻 温 度 的 平稳 分 布 应 满足 


yiEepD 1 (二 


"1 
按 定理 3.13 且 AQ 满足 (3.7),(3.44) 近似 为 
_ FA) 一 fliopr) Fe) 一 oper) 


1+8, k=0,l,, (3. 447 


exp| £ < 《1+ Byexp Er 
(3. 45) 
《3.45) 变形 为 
4 fom) ee log(+ fo 一 er， (3. 46) 
进一步 可 得 
tit1| 1 1 tlogtl + 人 > C3, 47) 


FD 二 了 CO 
假设 在 温度 如 ,02) 一 fCiopr)1i 二 1,2,…, 1D|) 出 现 的 频 

率 服从 分 布 {fetlD ,me 人 -yoipl(6)) ,其 对 应 的 均值 和 方差 分 
别 为 《FGD),《 产 (84)) ,其 随机 抽样 均值 的 统计 量 为 

#0) = fa) ~ flio), 
方差 的 统计 量 为 

FU) = PD 一 (Ge 
则 以 概率 99, 74%6 费用 {OD 一 liopn) li = 1,2,-…,|D|} 落 在 
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区 间 
C— FD + FG FHDY 十 3 产 (二 79 
近似 为 
《一 30(t2) Tt AED ER) 十 30 (8)). 
由 上 面 的 近似 镇 果 , 当 . 
tHogtl 十 人) 


a 1+ CE) 十 36 
时 :(3.47》 同样 成 立 . 于 是 通 产 的 变化 
tilog(l1 十 全) 上 
Fb) 十 3 在 ) 
计算 A(tpve(za) 时 ,要 求 对 每 一 个 温度 友 采 用 累计 求 和 的 方 
法 ,而 不 需要 记录 所 有 的 状态 . 
Lundy 和 Meest3l 采用 基本 相同 的 想法 ,使 (3.44》 近似 为 


YE 万 ,使 得 exp| FD) 一 Fiom (hh — tn) 


Fetatr1 
当 如 是 一 个 了 QD) 一 ftiopr) 的 上 界 ,r 是 一 个 充分 小 的 正 数 时 ,下 
式 可 以 保证 上 式 的 成 立 . 


> 


直上 1 一 4 1 十 (3. 48》 


}< ‘1 十 人， 


于 是 可 以 得 降温 规则 


(3, 49) 


上 
在 二 1 = 吉 1 十 于 


文献 [Hi2] 基于 A(z) 是 53.7) 的 形式 ,得 (练习 题 ) 
《KE 》 CFE)Y? 


t 


二 
0 》 一 
近似 为 


GA A 


logt 1 一 logi: Es 


由 些 推导 
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tf 一 Ae] 
FG) 一 CD J 


若 要 求 fC0001) zt 不 超过 它 的 标准 差 , 即 


fet 一 nexp| 


fr) FO AMP (fHD)’, 0A 
则 有 文献 [12] 中 的 结果 


如 下 
_ 一 exp = ;|. (3. 50) 
"* | V Pa 一 (Fe | 


3. 时 齐 算法 每 一 温度 的 选 代 长 度 规 则 

同样 ,实际 计算 中 按理 论 达 到 平稳 分 布 是 不 可 能 的 ,只 能 近似 
这 一 结果 . 下 面 就 常用 的 证 法 给 予 讨 论 . 

(1)》 围 定 长 度 

这 是 一 个 简单 的 方法 ,在 每 一 温度 , 选 代 相同 的 步 数 , 步 数 的 
选取 出 和 阿 题 的 大 小 有 关 ,通常 采用 与 邻 域 大 小 直接 相关 的 规则 . 如 


TSP 的 两 城市 位 置 交换 所 定义 揭 邻 域 , 它 的 大 小 是 aa 二 也 (其 


nn 12 


中 了 是 城市 数 } ,在 同一 温度 , 它 的 选 找 步 长 可 更 本 
闻 3) 等 ， 

(2) 由 接受 和 碟 绝 的 比率 来 控制 造化 步 数 

当 温 度 很 高 时 ,每 一 个 状态 被 接受 的 频率 基本 相同 ,而 且 几 乎 
所 有 的 状态 都 被 接受 . 此 时 ,在 同一 温度 应 合 选 找 的 步 数 尽 量 小 . 
当 温 度 渐 渐变 低 时 , 越 来 越 儿 的 状态 被 拒绝 . 如 果 在 此 温度 的 先 代 
太 少 , 则 可 能 造成 过 早 地 陷入 局 部 最 优 状 态 . 比较 直观 和 有 效 的 方 
法 是 随 着 温度 的 下 降 , 将 同一 温度 的 连 代 步 长 增加 , 实现 的 一 种 证 
法 是 给 定 一 个 充分 大 的 步 长 上 限 U 和 一 个 接受 次 数 指标 尺 , 当 接 
受 次 数 等 于 中 时 ,在 此 温度 不 再 选 代 而 使 温度 下 降 , 香 则 ,一 直选 
并 到 上 限 步 数 , 实现 的 第 二 种 方法 是 第 定 一 个 接受 比率 指标 下 .和 
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代步 长 上 限 避 和 下 限 工 ,每 一 温度 至 少 选 伐 工 步 且 记录 同一 温度 
选 代 的 总 次 数 和 被 诬 受 的 人 次数, 当选 代 超 过 工 步 时 ,车 接受 次 数 同 
总 灾 数 的 比率 不 小 于 只 时 ,在 这 一 温度 不 再 选 代 而 开始 刘 度 下 降 ， 
否则 , -直选 代 到 上 人 由 步 数 ， 

局 样 可 以 用 拒绝 次 数 为 指标 类 似 上 面 的 讨论 得 到 一 些 控 制 和 
代步 数 的 规则 . 

(3) 概率 控制 法 

以 概率 1 跳出 任何 一 个 局 部 最 优 解 是 概率 控制 法 的 一 个 基本 
思想 . 设 状 态 i 是 一 个 局 部 最 惰 状态 ,pz) 为 i 状态 一 步 转移 不 动 
的 概率 , 则 nn 步 保 持 不 动 的 概率 是 上 直人 (6 的. 于 是 温度 上 时 状态 :不 转 
移 的 平均 次 数 

vt) 一 人 > 人 一 五 A 所 二 一 . 
当 产 生 概 率 为 (3. 6) 为人 7) 1 
patf) = | bp min|1， exp| 


i 


一 -2])， 


于 是 
ND 1 [NC | 


(pa | >) min lexp| 一 2 


JE NEY 
jer 


近似 估计 


NC) = CD 


| Dy) min {1,exp[ 一 fe fe] 


EA) 


(3. 51) 


其 中 ,fansfs 分 别 为 整个 状态 空间 的 最 大 和 最 小 费用 值 从 
《3, 51) 的 估计 可 以 看 出 ; 当 温 度 较 高 时 ,跳出 局 部 最 优 的 平均 次 
数 为 OCIN Gi)1*), 这 与 (1) 的 估计 直 本 易 合 ; 当 混 度 变 低 时 , 风 出 


局 部 最 纺 的 平均 次 数 增加 非常 快 ,增加 的 速度 与 e+ 同 阶 . 由 此 可 
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以 看 出 ;在 实际 应 用 中 ;(3. 51) 也 是 不 通用 的 ,实际 应 用 中 ,(1) 和 
(2) 比 经 窒 易 实现 ， 

4. 算法 的 终止 原则 

模拟 退 洲 算法 从 初始 温度 开始 ,通过 在 每 :温度 的 选 代 和 温 
度 的 下 降 , 最 后 达到 终止 原则 而 停止 . 尽管 有 些 原则 有 一 定理 论 的 
指导 ,终止 原则 大 密 是 直观 的 .下 面 分 类 讨论 ， 

(1) 零度 法 

模拟 退火 的 最 终 温 度 为 零 . 因而 最 为 简单 的 原则 是 :给 定 一 个 
比较 小 的 正 数 es, 当 温 度 坟 委 < 时 ,算法 停止 .表示 已 经 达到 最 低 
温度 . 

(2) 循环 总 数控 制 法 

这 一 简单 原则 在 时 齐 算法 的 温度 下 降 上 方法 (2) 中 已 经 提 及 ， 
即 总 的 证 虚 下 降 次 数 为 一 定 值 天, 当 温 度 选 代 次 数 达 到 天 时 , 停 
止 运算 . 这 一 原则 可 分 为 两 类 ,一 类 是 整个 算法 的 总 迭代 步 数 为 - 
固定 数 , 它 表示 各 温度 时 与 氏 链 选民 数 ( 内 循环 ) 的 总 和 为 一 个 给 
定 的 数 .这 样 很 容易 计算 算法 的 复杂 性 ,但 需要 合理 分 配 内 循环 的 
长 度 和 温度 下 降 的 次 数 . 另 一 类 是 内 循环 的 次 数 由 选 代 长 度 规 则 
的 (2) 和 (3) 决定 ,温度 下 降 次 数 ( 外 循环 》 为 一 个 定 值 , 这 样 的 控 
制 法 对 估计 算法 的 复杂 性 有 一 定 的 困难 . 解决 的 方法 一 是 通过 理 
论 的 估计 ,一 则 是 类 似 移 和 伐 长 度 规 则 的 (2) 给 出 每 一 温度 的 选 代 
长 度 上 限 . 

(3) 基于 不 改进 规则 的 控制 法 

在 一 个 温度 和 给 定 的 选 代 次 数 内 没有 改进 当前 的 局 部 最 优 
解 , 则 停止 运算 .模拟 退火 的 一 个 基本 思想 是 跳出 局 部 最 优 解 . 直 
观 的 结论 是 在 较 高 的 温度 没 能 跳出 局 部 最 优 解 , 则 在 低 的 温度 踏 
出 最 优 解 的 可 能 也 比较 小 . 由 此 产生 上 面前 停止 震 则 . 

(4) 接受 概率 控制 法 

该 方法 与 (3) 相同 的 思想 , 给 定 一 个 指标 > 0 蚌 一 个 比较 
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小 的 数 , 除 当前 局 部 最 优 解 以 外 , 共 他 状态 的 接受 概率 都 小 于 入 
时 ,停止 运算 . 实现 (3》 和 04) 时 ,记录 当前 局 部 最 优 解 , 纵 定 一 个 
固 定 的 丢 代 次 数 , 当 在 规定 的 次 数 里 没有 离开 局 部 最 优 艇 或 每 一 
次 计算 的 接受 概率 都 小 于 多 , 则 在 这 个 温度 停止 计算 , 

5) 邻 域 法 

若 采 用 和 定理 3.13 的 发 生 概 率 和 (3.7) 的 接受 概率 ,是 设 /。 和 和 
方 分 别 为 一 个 邻 域内 的 局 部 最 优 和 次 最 优 值 , 当 满足 


A ~ fo ] Ee 
exp| 一 一 < 方 {3.52) 


时 ,其 中 入 为 邻 域 的 大 小 ,从 局 部 最 优 到 次 优 的 接受 概率 满足 
《3. 52) ,而 从 局 部 最 优 到 其 他 费用 更 高 的 状态 的 接受 概率 更 小 . 直 
现 的 想法 是 邻 域 中 每 次 至 少 有 一 个 状态 被 接受 ,但 当 潢 足 (3. 52) 
时 , 除 局 部 最 优 解 以 外 状态 的 接受 概率 都 小 于 邻 域 总 点 平均 数 , 此 
时 可 以 认为 从 局 部 最 优 解 转移 到 其 他 状态 的 可 能 性 很 小 ,因此 停 
止 . 通过 (3. 52) 可 得 终止 温度 


A — fo 
EA 


(6) Lundy 和 Mees 方法 
Lundy 和 Meesi1] 从 概率 的 意义 给 出 一 个 判定 方法 . 给 定 充 
分 小 的 正 数 信和 ,在 达到 终止 温度 应 该 满足 
PriXeR) =i A fi) forr Tt elt = 1 < 人 
其 中 A 表示 逻辑 的 “与 ”, 由 平稳 分 布 所 具有 的 性 质 ,在 温度 i， 
Pr 一 门 王 mr 人 可 以 近似 为 
PrCXCED = ACT Joe 十 时 一 ts > vu) 


reff)pI + 


{3.53) 


(ID|C— Dexp| 一 F<s, 
直接 推导 可 得 终止 温度 


Ee 
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《7》 上 arts 和 Yan Laarhoven 法 
Aarts 和 Wan Laarhovent 在 (3,6) 和 (3.7) 的 条 件 下 ,用 概 
率 分 析 的 方法 给 出 终 庄 温度 的 精细 恪 计 , 他 们 的 基本 思想 是 根据 
《3. 40) 期 涓 费 用 
CF = YF) 
ED 


的 函数 特性 (定理 3.18) 


FD FB) ~ 0}. 
iE 
在 终止 温度 六 ,由 泰勒 (Taylor) 展开 的 第 一 项 ,费用 均值 近似 为 
FY 一 Ar 《3. 55) 
一 时 


当 (3. 55) 的 右 端 项 充分 小 的 时 候 , 则 左 端的 莽 值 也 较 小 ,可 以 认 
为 已 达到 要 求 . 用 数学 公式 描述 为 :对 给 定 的 6 > 0, 当 


d< f(y)) ir 
de | OF ~ (3. 56) 


| 世 < C3, 56) 


de |- OO)) — OF 
时 , 计算 停止 . (3. 56) 和 (3. 56') 可 以 用 样本 均值 和 样本 矩 近似 
在 伐 


《天 人 四 一 《CE 和 
fr{f (a) 


CPD) 一 《下 (3 
tAf E00 — (fF)) 


当 满足 (3. 57》 或 C3. 57') 时 ,计算 停止 .用 样本 值 近似 
POD 一 (GD 
Er fto) 


< EE, {3.57) 


< 《3. 57 ) 


< Es (3, 58) 
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FED (FOD) oe 09.581) 
Er FO) ~ FO27)) 
理论 上 是 用 一 个 马尔 可 夫 链 描述 模拟 退火 算法 的 变化 过 程 ， 
因 此 具有 全 局 最 优 性 . 实际 应 用 中 的 模拟 退火 算法 是 一 个 启发 式 
算法 . 它 有 诸多 的 参数 需要 调整 ,如 起 始 温 度 . 温 度 下 降 的 方案 . 男 
定 温 度 时 的 选 代 长 度 及 终止 规则 等 ,这样 需要 人 为 地 调整 . 人 为 的 
因素 ,如 对 问题 的 了 解 、. 参 数 和 规则 的 搭配 等 ,造成 计算 结果 的 差 
异 . 解决 这 个 予 盾 的 方法 主要 通过 大 量 的 数值 模 所 计算 ,从 中 选择 
比较 好 的 参数 搭配 . 


3.6 ”应 用 案例 一 一 下 料 问 题 


下 料 问题 存在 于 诸多 如 玻璃 .钢板 .木材 .纸张 和 制 衣 等 的 裁 
前 中. 它们 的 共同 特点 是 原料 的 尺 才 大 于 需求 的 尺寸 ,而 需求 的 如 
种 尺寸 可 以 不 相同 ,最 终 的 目标 是 在 满足 需求 的 前 提 下 ,使 得 边 角 
庆 料 最 小 . 在 以 上 所 提出 的 问题 中 ,它们 都 是 二 维 参数 , 原料 有 其 
长 度 和 宽度 ,需求 的 品种 同样 有 长 和 宽 的 要 求 . 本 节 讨 论 的 问题 产 
生 于 新 闻 漠 的 锌 版 下 料 向 题 . 一 个 印刷 厂 负责 着 干 家 报刊 的 印刷 
工作 , 它 要 将 锌 版 按 报 刊 版 面 的 不 同 要 求 下 料 . 锌 版 原料 的 长 和 宽 
基本 相同 ,我 们 假设 它们 都 相同 . 报刊 版 面 旭 有 不 同 的 长 宽 . 

我 们 首先 介绍 常见 的 元 种 直线 切 贿 (guillotine cutting) 的 下 
料 方法 .在 不 混淆 的 前 提 下 ,我 们 称 锌 版 原料 为 源 料 . 

这 种 切割 保持 切割 线 平 行 于 原料 的 一 个 边线 ,对 裁 开 的 料 继 
续 采 用 这 个 规则 ,一 直到 满足 需求 为 止 .参考 图 3.2 的 三 类 直线 切 
荐 法 . 

三 种 分 类 的 主要 区 别 ; 2 级 切割 先 将 原料 按 一 个 方向 切割 后 ， 
再 对 急 荐 后 的 条 材 与 原 切 割 方向 垂直 切割 ;3 级 切割 是 在 2 级 急 制 
后 的 料 上 再 垂直 于 第 二 次 切割 方向 切割 ;多 于 3 级 切割 的 直线 切 


130 现代 优化 计算 六 法 


I L _| | 


(3) 2 级 切 制 tb) 3 级 切割 {9 一 般 切 割 
图 3.2 直线 切割 分 类 


割 为 一 般 切 割 .2 级 切割 .3 级 切割 和 一 般 切 割 的 区 别 网 图 
3- 2(akbyce) 中 A 区 域 所 示 . 图 中 黑色 部 分 表示 剩余 废 边角料 . 
更 ~- 般 的 套 裁 方式 如 图 3. 3. 
直观 可 知 , 套 裁 节 约 用 料 . 平 
面 上 的 套 裁 问题 是 二 维 装 箱 问 题 ， 
是 一 维 装 箱 问 题 的 推广 ,因此 ,这 
个 优化 问题 是 NP-hard. 文献 [13] 
中 采用 模拟 退火 算法 求解 下 料 套 图 3.3 套 栽 方式 
裁 问题 ,文中 把 下 料 的 位 置 用 两 个 
坐标 点 表示 , 怒 原 料 的 左下 前 和 右上 解 的 坐标 分 别 为 (rz0,y0)， 
{x0 十 XT1,30 十 y1) ,于 是 第 一 个 矩形 为 R, 二 [Cx0,y0), (x0 十 
这 1130 十 ?1?], 所 有 的 下 一 个 下 料 点 都 是 以 剩余 矩形 的 左下 角 
开始 . 
戎 所 下 料 al 的 长 宽 尺 寸 分 别 为 xz2 和 ?2, 则 下 料 后 的 剩余 和 抵 
形 为 , 即 图 3. 4， 
[Cx0,y0), Cx0 + x1,30 + y1)] 
一 [Crz0,y0) ,Cz0 + x2,y0 + y2)] 
= {[Cz0+ 22,70), (70 + zx1,y0 + y1)] 
[Cx0;y0 十 y2) ,C0 + Tl,y0 十 417]i， 
按 顺 时 针 记 录 和 抢 形 , 则 有 
R2 = Lr? + xz0,y0), Cr0 + zl1,y0 + v1)], 
R3 = [L(x0,y2 + y0) ,Cr0 + zr1 ,30 + y1)1. 


(3. 59) 
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{TO 二 ri, y+ yl 


T 一 
1 
『 
1 
1 
1 


tO 十 3 :yO 二 yy3 


CO yD 


3.4 下 特 运 算 图 


若 需 求 产品 的 长 宽 尺 寸 分 别 为 <2 和 y2, 将 料 下 在 右上 角 则 
LCzo, yO0) ,Cr0 + zx1,y0 + y1)] 
~ [C0 Xl — rz2,y0 4 yl CO— y2) ,x0 x1,y0 + y1)] 
~ {Cz0,y0), Cr0 十 区 一 开 o0 十 ?1 [Lr0, yO), 
《rz0 Th y0 + yl CO— y2)1}. 
(3.60) 
《3.59》 和 (3. 60) 分别 给 出 按 左 下 角 和 和 右上 和 角 下 料 的 作料 计 
算 公式 . 在 公式 中 ,希望 考虑 尽量 大 的 矩形 块 , 因 此 它们 有 重复 部 
分 .任意 两 个 矩形 [Cz0 十 z1;30 十 y1) ,Cx0 十 x2,30 十 y2)] 和 
[Cz0 二 x3,y0 十 y3),《x0 十 X413y0 十 y4)1 重 复 部 分 的 计算 公式 为 
Com{[ (rl yD), Cr2,y2)], [Cr3, y3), Cr4, yd) 
一 [Cmaxfxylz3yvmaxfy1,y3) , (min{z2,z4},min{ y2, y4})]. 
(3.61) 
在 余下 的 炬 形 块 中 ,再 安排 下 一 次 的 下 料 . 当下 料 的 次 数 变 
多 ,可 选择 的 矩形 块 新 多 . 
第 -- 次 下 料 后 ,出 现 丽 块 拭 形 . 若 再 进行 一 次 下 料 ,必须 从 中 
选 定 一 拨 - 当选 中 一 块 后 ,采用 一 个 局 发 式 的 方法 重新 分 块 . 基本 
思想 是 将 未 选用 的 块 用 (3. 80) 减 去 公共 部 分 ;如 图 3.4 中 的 [frz0， 
70 十 3¥2) ,Cz0 十 区 1;y0 十 1)] 块 未 选中 , 则 重新 分 块 中 的 一 块 为 


132 现代 优化 计算 方法 


[Cro,y0 二 y2) ,Cz0 二 TI1Yy0 十 yy1)] 一 [Cz0 TT x2,y0 二 y2)， 
Cx0 xl,yd + y1)] 
= {ry0 十 2 ;CX0 二 x2 90 十 yD] [Crzoy0 十 32)， 
《ze0 + zl yO y2)7]} 
= [L(x0,y0 + y2), (ro x2,y0 | yl1)], 
选用 的 块 杂 用 (3. 59) 的 运算 关系 下 料 . 如 图 3.4 中 [Cx0 十 
T2307,CX0 十 T1,30 十 31] 块 被 选中 下 料 , 所 下 料 的 长 宽 分 别 
为 3 和 y3; 记 为 图 3.4 的 a2, 则 在 R2 中 用 (3.59) 的 运算 重复 
计算 . 
[Cr0 + x2, 70), (Cr0 4 x1,y0 + y1)] 
一 [Lfzr0 x2,y0), Cz0 二 x2 十 x3;y0 十 y3)] 
= {[Cz0+ x2 十 xz3,y0) ,Cr0 + zliy0 + y1)], 
LCc0 xz2,y0 + vy3) ,C0 + x1,y0 + y1)]}. 
记 
R4 一 [xz0 x2 x3,y0) ,Cr0 + xl,y0 vy1)], 
R5 = {x0 x2,y0 + y3), C50 十 2t1,30 十 ?17)， 
在 第 玉 次 切割 完成 后 ,一 共 剩 余天 十 ] 个 矩形 ,其 中 ,到 一 1 
个 除 边 界外 互 不 烛 交 ,有 两 块 有 公共 相交 部 分 .第 外 十 1 次 切割 从 
二 十 1 个 矩形 中 选 出 哪 一 个 各 后 讨论 . 选 出 的 矩形 有 两 种 可 能 竹 . 
第 一 是 从 不 相交 的 六 一 1 个 瞪 形 中 选 出 ,小 时 ,相交 的 那 两 块 将 重 
合 部 分 归 面 积 大 的 那个 抢 形 ,因此 又 分 为 两 个 不 重 侣 的 矩形 . 第 二 
是 从 相 兖 的 一 对 上 矩形 中 选择 一 个 , 原 有 重合 部 分 归属 选择 上 的 那 
个 矩形 ,因此 原 有 重合 部 分 的 料 又 分 为 两 个 不 重合 的 第 形 . 在 任何 
一 个 矩形 下 一 次 料 ; 由 图 3,4 知 ,必然 余下 两 块 有 重合 部 分 的 
矩形 . 
采用 上 述 的 厂 法 ,每 次 下 料 前 ,都 有 若干 个 独立 的 托 形 和 一 对 
带 有 重复 的 相交 矩形 . 以 上 的 规则 可 以 重复 运用 . 为 了 以 后 的 方 
便 , 我 们 将 需求 料 称 为 产品 ,余下 的 每 一 个 矩形 称 为 囊 形 原料 . 
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任何 一 个 原料 和 产品 都 可 以 用 以 上 形式 的 两 个 原点 坐标 表 
示 . 按 13. 59 (3.60) 和 53.617 的 运算 ,天 次 料 后 ,有 天 一 ] 个 不 
由 交 的 矩形 (边界 可 以 相连 ) 和 两 个 有 相同 公共 部 分 的 矩形 ,如 此 
共计 素 十 I 个 矩形 .于 是 ,如 和 何 从 天 十 1 个 插 形 中 选 下 一 个 下 料 成 
为 要 解决 的 问题 . 

如 果 将 产品 的 下 料 顺 序 者 成 问题 的 一 个 解 , 现 在 必须 给 出 如 
何 从 诸多 个 矩形 中 选择 一 个 ,及 从 何 处 下 料 . 当 这 些 问题 解决 后 ， 
就 可 以 计算 余 料 的 天 小 , 即 目标 值 . 优化 问题 就 是 确定 一 个 最 优 的 
下 料 序 . 用 模拟 退火 求解 时 , 其 邻 域 的 结构 可 以 模仿 TSP 中 前 
2-opt 来 构造 ,交换 两 个 产品 的 加 工 顺 序 . 于 是 问题 解 的 形式 和 邻 
域 结 构 已 经 得 到 . 

如 何 选 择 和 矩形 原料 下 料 的 思想 类 似 于 第 2.3.2 节 例 2.11 的 
目标 函数 蔡 代 法 中 和 解 的 构造 . 在 给 定 的 一 个 下 料 序 后 ,不 求解 这 个 
下 料 序 的 最 优 下 料 方 法 (车 求解 ,相当 于 对 原 问 题 求 最 优 下 料 方 
法 ), 用 一 种 启发 式 方法 安排 下 料 , 在 产品 完全 排 完 后 ,就 可 以 计算 
余 料 的 值 , 计 为 目标 值 . 

选择 矩形 原料 的 高 发 式 规 则 是 根据 等 待 下 料 的 产品 ,采用 下 
列 方案 . 

(3) 首 选 ,产品 的 长 或 宽 同 原料 的 长 或 宽 不 超过 一 个 给 定 的 
比较 小 的 正 数 se 有 这 样 的 可 能 ,原料 宽 同 产品 长 的 差 不 超 过 一 个 
给 定 的 比较 小 的 正 数 s, 如 图 3. 5(a); 其 二 是 原料 长 两 产 品 长 的 差 
不 超过 一 个 给 定 的 比较 小 的 正 数 se, 如 图 3.5(b); 图 3.5 中 的 灰色 
部 分 表示 产品 的 下 料 位 置 和 大 小 . 

(2) 其 次 比较 原料 的 长 宽 之 和 国产 品 长 宽 之 和 的 差 值 的 大 
小 ,从中 选 差 值 最 小 的 原料 ， 

在 多 次 下 料 后 ,有 些 原料 因为 尺寸 太 小 而 失去 使 用 价值 ,此 时 
再 记录 这 样 小 的 气 形 原料 具 会 增加 内 存 而 无 任何 好 处 ,因此 ,应 该 
删除 这 样 的 矩形 原料 . 对 给 定 的 数 s>> 0, 在 已 下 玉 块 产品 后 , 若 余 
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{a) (b) 
图 3.5 产品 与 原料 吻合 


下 的 天 十 1 氛 抵 形 原料 中 有 长 或 宽 不 超过 上 的 , 则 删除 这 些 原 
料 块 . 

日 标 置 数 采 用 余 料 和 同 总 用 料 的 比率 . 由 此 可 以 舌 计 目标 导 
的 上 界 是 100%, 色 所 有 的 料 被 浪费 ,下 界 是 0%, 表 示 无 浪费 . 于 
是 ,可 以 悄 计 上 下 和 界 差 (3. 37) 不 超过 3 一 1. 起 始 温度 用 (3. 37) 计 
算 心 一 天 6, 其 中 天 一 100. 

温度 的 下 降 采 用 Lundy 和 Mees 的 53. 49) 

Ht 二 fl 十 训 .)-'， 

其 中 ， 


关 为 一 匠 定 的 值 , 对 是 温度 可 下 降 的 最 大 次 数 . 在 文献 [i131 中 , 作 
者 采用 非 时 齐 算法 , 即 每 一 温度 只 选 代 一 步 . 因此 ,总 的 造 代 次 数 
为 叶 . 

计算 的 数据 采用 随机 产生 和 香港 地 区 一 个 印刷 厂 的 实际 数据 
两 类 . 模拟 退火 的 参数 分 别 为 :起 始 温度 加 = 100 二 一 10 ad = 
10000. 除了 最 儿 氨 代 奢 步 的 停止 准则 以 外 ,再 加 上 上 如果 边 角 祭 料 
之 和 不 超过 开始 时 原料 的 5%, 则 停止 计算 . 在 此 ,我 们 仅 采 用 随 
机 产生 数据 的 计算 结果 . 

数据 产生 的 参数 是 :原料 分 两 种 尺寸 :400 X 200400 x 400， 
产品 料 的 种 类 有 5 ~ 35 个 种 类 ,每 一 类 产品 料 对 两 种 尺寸 各 生成 
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50 个 随机 数据 组 . 产生 的 原则 是 每 组 数据 - - 定 有 余 料 为 零 的 最 优 
解 , 整个 计算 是 在 土 上 关 33TIz 的 486 上 实现 . 洁 果 见 焉 3.2 和 
3. 3 

甫 3.2 原料 406 x 200 的 横 氢 结果 


种 类 组 数 是 间 (s) 的 组 数 步 数 
5 3 3.% | 50 8 
10 SO 13-.0 50 15 
15 50 42. 口 S50 303 
2 50 191.5 50 868 
25 90 405. 2 46 B57 
中 50 413.0 GE B866 
35 dO 445. 3 41 343 


表 3.3 原料 400 Xx 404 的 模拟 结果 


种 类 组 数 时 间 cs) 的 组 数 步 数 
5O 2,3 5 各 4 
1u 30 9.3 30 12 
15 530 .0 50 230 
220 50 221.0 #47 522 
25 50 了 3859. 3 45 B55 
30 50 433. 1 41 941 
35 50 442. 4 人 2 921 
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从 表 3.2 和 表 3.3 可 以 看 出 ,达到 最 优 解 的 组 救 相 对 较 高 , 算 


法 停 比 时 的 平均 选 代步 数 没 有 超过 
导 
i 


所 给 的 了 限时 ,但 计算 时 间 随 产品 料 
种 类 数 增 加 而 增加 的 速 诬 较 快 . 因 

图 3.6 400 Xx 400 料 20 
个 产品 的 最 优 下 料 图 


此 ,可 以 说 算法 的 计算 效果 还 是 相当 
好 的 . 

图 3.6 表示 一 个 20 个 产品 种 类 
在 400 x 400 的 原料 的 最 优 下 料 图 ， 
其 作料 率 为 934. 

图 3.7 描述 对 图 3.6 原料 和 产品 料 用 模 氢 垦 火 计算 时 , 氨 代 
步 数 同人 余 料 率 之 间 的 关系 ,其 中 选民 步 数 的 每 一 格 表 示 50 个 磷 代 
步 数 . 


有 300 
透 线 步 数 


图 3.7 余 料 率 风 选 代 步 炒 关系 


以 平均 的 意义 从 图 3.7 可 以 看 出 , 余 料 率 同 迁 代步 数 的 关系 
是 : 随 达 代 的 步 数 增加 , 余 料 率 逐 步 下 降 ,在 300 时 基本 达到 零 祭 
料 率 . 


练 习 题 
1. 对 非 能 量 最 低 的 状态 ,证 明 :, 存在 上 >> 0, 使 得 其 波 效 曼 概 


率 在 (0 单调 升 . 
2 车 v, 二 limp 一 JimprGXCa) = j|X(0) 一 人 (和 日) 的 
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极限 有 限 , 且 状态 空 闻 有限, 证 明 : 


1 11 
v= mp = Dy vp 
3. 时 章 马 氏 链 的 一 步 转 欧 算 阵 为 P= (pi) ,ps 一 Pr 和 (十 
1) 一 j|X(k) = 门 . 它 的 n 部 转移 概率 为 
pi = PT 有 (Cry = j|XC0) = i). 
它 的 类 阵 形 式 为 PY 二 (p89). 证明 :Pm 一 严 . 
4. 若 发 生 概 率 


co- = YE NGO), 
0, 了 让 N(7)，。 
其 中 工 为 一 个 正 数 . 接受 概率 按 (3. 7) 定义 . 证 明 ， 当 邻 域 的 定义 
使 得 状态 空间 连通 时 ,由 此 定义 的 时 齐 马 氏 链 有 平稳 分 布 , 写 出 平 
移 分 布 的 麦 达 式 . 
5. 若 接受 概率 满足 定理 3. 10 的 条 件 ,发 生 概率 校 文献 [3] 中 
的 定义 
3 1DI x | 矩阵 如 满足 
Yi ED 使 得 @@ 一 名 ) 
Vie De NMG), 使 得 Go 一 By 


证 明 : 它 的 平稳 分 布 存 在 且 为 
{ SQ) A 
2 > Qi A 


56. 若 发 生 概 率 按 练习 4 定义 ,文献 [4j 中 给 出 接受 概率 为 
_ fF) 一 £0)] 


it 


vt) = "YiED. 


Ai (tt) = 和 十 exp 
证 明 : 它 的 平稳 分 布 存在 且 为 
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exp| — A — fopr 
i 。 
mi 一 二 一 ,YiED. 
ep| fA07) - | 
IE 
7. 验 让 
exp| f(D 一 5 | 
fe 四 
zi 一 二 ， YitD. 
Dexp| fA) 7 Ze] 
JE 站 上 
满足 (3. 27). 


8. 若 4A0 和 GC) 满足 定理 3. 13 的 条 件 , 且 A400 和 G0) 分 
中 满足 (3.6) 和 C3.7), 则 当主 二 ziorr 时 ,平稳 分 布 v(2) 为 上 的 单调 
减 函 数 . 

9. 在 时 齐 马 氏 链 平稳 分 布 存在 的 条 件 下 , 若 4(t) 是 (3.7) 的 
形式 ,证 明 


d CP — Cf )? 
om 0) 下 “ 


10. 你 对 3.6 节 下 料 问题 的 模拟 退火 算法 有 什么 样 的 评价 ? 
按照 你 的 观点 实现 模拟 退火 算法 ,并 同 3.6 节 的 算法 比较 . 

11， 比 较 禁 忌 搜索 .模拟 退火 算法 在 下 料 问 题 的 应 用 效果 . 

12. 用 模拟 退火 求解 TSP, 同 禁忌 搜索 算法 比较 它们 的 计算 
效率 . 

13， 对 你 感 兴趣 的 优化 问题 ,党 试 模拟 运 火 的 计算 效果 . 
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第 4 章 
遗传 算法 


遗传 算法 (genetic algorithms) 是 在 70 年 化 初期 由 姜 国 密 执 
根 《Miehigany 大 学 的 Holland 教授 发 展 起 来 的 . 1975 年 ,Holland 
发 表 了 第 -本 比较 系统 论述 遗传 算法 的 专著 #Adaptation in Nat- 
ural and Artificial Systems["1). 本 章 先 介绍 遗传 算法 及 一 些 基本 
性 质 , 然 后 讨论 遗传 算法 实现 的 技术 问题 ,最 后 通过 在 约束 批量 模 
型 的 应 用 了 解 算法 实现 过 程 . 


4.1 遗传 算法 


遗传 算法 主要 借用 生物 进化 中 “ 适 者 生存 ”的 规律 .“ 活 者 生 
存 " 揭 示 了 大 自然 生物 进化 过 程 中 的 一 个 规律 ,最 适合 自然 环境 的 
群体 往往 产生 了 更 大 的 后 代 群 体 . 因此 有 必要 在 介绍 遗传 算法 之 
前 , 先 简单 了 解 生物 进化 的 基本 过 程 , 见 图 4. 1. 


图 4.1 生物 进化 循环 图 


以 这 个 循环 圈 的 群体 Cpopulation) 为 起 点 ,经 过 竞争 后 ,一 部 
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分 群体 被 淘汰 而 无 法 再 进 和 人 这 个 循环 图 ,而 另 一 部 分 则 成 为 种 群 
Creproduction). 优胜 劣 沁 在 这 个 过 程 中 起 着 非常 重要 的 作用 ,这 
在 自然 界 显 得 更 加 宽 出 . 因为 自然 天 气 的 恶劣 和 天 政 的 侵害 ,大 自 
然 中 的 很 多 动物 的 成活 率 基 非常 低 的 . 即使 在 成 活 群 体 中 ,还 要 通 
过 况 争 产生 种 群 . 邦 群 通过 婚配 的 作用 产生 子 代 群 体 ( 人 简称 子 群 ). 
进化 的 过 程 中 ,可 能 会 因为 变异 而 产生 新 的 个 体 . 综合 变异 (mu- 
tation) 的 作用 , 子 群 咸 长 为 新 的 群体 而 取 找 旧 群 体 . 在 新 的 一 个 循 
环 过 程 中 ,新 的 群体 将 替代 旧 的 群体 而 成 为 循环 的 开始 . 

以 大 类 进化 为 例 , 人 类 群体 在 自然 竞争 .淘汰 后 ,形成 了 繁殖 
后 我 的 群体 , 即 成 人 群体 . 群体 的 每 一 个 体 是 一 个 人 ,每 个 人 包含 
有 46 条 染色 栖 (chromosome), 组 成 23 对 同 源 染色 体 ( 参 见 [2]， 
P. 8). 男女 性 的 结合 使 得 对 应 的 23 对 染色 体 优 胜 劣 演 再 产生 23 对 
染色 体 , 因 而 形成 一 个 新 的 生命 . 以 性 别 染 色 体 为 例 ( 见 团 4.2)， 
母亲 的 性 染色 栖 中 由 (1) 和 四 (2) 基因 (gene) 组 成 ,父亲 的 性 染 
色 体 由 六 (tm) 和 和 Y 基 因 组 成 .两 个 染色 体 的 结合 是 这 两 对 基因 竞 
争 后 的 产物 ,竞争 的 结局 可 能 
是 (XC), 半 (Cm)}( 妇 ), {XC1)， 
Y}( 男 ),，{X(2), 久 (mr)}( 女 )， 
(X02) ,YI( 男 ), 这 一 对 新 的 结 
合 物 为 子 代 的 一 对 性 染色 柱 . 
每 一 条 染色 体 是 由 特定 的 基因 
组 成 . 在 自然 进化 中 ,会 出 现 某 
些 基 因 的 变异 ,形成 一 个 新 的 
个 体 . 

遗传 算法 主要 借鉴 了 生物 进化 的 一 些 特征 ,其 主要 特征 体 
现 为 : 

， 进 化 发 生 在 解 的 编码 上 . 这 些 编码 按 生 物 学 的 术语 称 为 染 

色 体 . 由 于 对 解 进行 了 编码 ,优化 问题 的 一 切 性 质 都 通过 


图 4.2 性 刚 染 色 体 的 竞争 
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编码 来 研究 . 编码 和 解码 是 遗传 算法 的 一 个 主题 . 
， 白 然 选择 规律 决定 哪些 染色 体 产 生 超过 平均 数 的 后 代 . 站 
传 算法 中 ,通过 优化 问题 的 目标 而 人 为 地 构 址 适应 郴 数 以 
达到 好 的 染色 体 产 生 超 过 平均 数 的 后 并. 
* 当 染 色 体 结合 时 ,双亲 的 但 传 天 因 的 结合 使 得 子女 保持 父 
母 的 特征 . 
* 当 染 色 体 结合 后 ,随机 的 变异 会 造成 子 代 同 父 代 的 不 同 . 
遗传 算法 包含 以 下 的 让 要 处 理 步 又 . 首先 是 对 优化 问题 的 解 
进行 编码 ,此 处 ,我 们 称 一 个 解 的 编码 为 一 个 染色 体 , 组 成 编码 的 
元 素 称 为 基因 . 编码 的 县 的 主要 是 用 于 优化 问题 解 的 表现 形式 和 
利于 之 后 遗传 算法 中 的 计算 . 第 二 是 适应 务 数 的 构造 和 应 用 . 适应 
是 数 基本 上 依据 优化 问题 的 目标 函数 而 定 . 当 适 应 菠 数 确定 以 后 ， 
自然 选择 规律 是 以 适应 函数 值 的 大 小 决定 的 概率 分 布 来 确定 哪些 
染色 体 适 应 生存 ,哪些 被 淘 汶 .生存 下 来 的 染色 体 组 成 种 群 ,形成 
一 个 可 以 繁衍 下 一 代 的 群体 . 第 三 是 染色 体 的 结合 . 双亲 的 遗传 基 
因 结 全 是 通过 编码 之 间 的 交配 (crossover) 达到 下 一 代 的 产生 . 新 
一 代 的 产生 是 一 个 生殖 过 程 , 它 产生 了 一 个 新 解 . 最 后 是 变异 .新 
解 产生 过 程 中 可 能 发 生 基 因 变 异 , 变 异 使 某 些 解 的 编码 发 生变 化 ， 
使 解 有 更 大 的 遍历 性 . 表 4.1 列 出 了 生物 遗传 基本 概念 在 遗传 算 
法 中 和 作用 的 对 应 关系 . 


证 4.1 生物 遗传 概念 在 遗传 算法 中 的 对 应 关系 


生物 得 传 概 念 遗传 算 靶 中 的 作 珊 
通 者 生存 在 算法 停 正 时 ,最 优 目 标 值 的 解 有 量 大 的 可 能 
被 留 住 
个 体 tindividual) 解 


桨 香 体 (chromosome) ” 解 的 编码 (字符 申 , 向 量 等 ) 
基因 (gene) 解 中 每 一 分 量 的 特征 (如 各 分 重 的 值 》 
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续 表 
生物 直 传 概念 踪 传 算法 中 前 作用 
适应 性 CHtaessy 适应 函数 什 
群体 Cpopulation》 选 定 的 - -组 解 5 其 中 解 的 个 数 为 群体 的 规模 ) 
种 群 freproduction7 根据 运 应 是 数值 选取 的 一 组 解 
交配 (erossover) 通过 交配 康 则 产生 一 组 新 解 的 过 程 
变异 (mutation) 编 玛 前 菜 -- 个 分 基 发 生变 化 的 过 程 


景 优化 问题 的 求解 过 程 是 从 众多 的 解 中 选 出 量 优 的 解 . 生物 
进化 的 适 者 生存 规律 使 得 最 具有 生存 能 力 的 染色 体 以 最 大 的 可 能 
生存 . 这 样 的 共同 点 使 得 遗传 算法 可 以 在 优化 问题 中 应 用 . 我 们 以 
-~ 个 简单 的 例子 来 理解 表 4. 1. 

例 4.1 用 遗传 算法 求解 Fr) 一 呈 :0 志 工 甩 31:7 为 整数 的 
最 大 值 . 

一 个 简单 的 表示 解 的 编码 是 二 进 制 编码 , 即 0,1 字符 串 , 由 于 
变量 的 最 大 值 是 31, 因 此 可 以 采用 5 位 数 的 二 进 制 码 . 如 

10000 一 16 11lll-—*31 0001 一 9 00010 一 2， 

以 上 的 5 位 字符 囊 称 为 染色 体 , 每 一 个 分 量 称 为 基因 ,每 个 基因 有 
两 种 状态 或 1. 模拟 生物 进化 ,首先 要 产生 一 个 群体 ,可 以 随机 取 
4 个 染色 体 组 成 一 个 群体 ,如 z+ 一 (00000) ,zs 二 (11001) ,z; 一 
C01111) ,zx 二 01000). 群体 有 4 个 个 体 , 适应 函数 可 以 依据 目标 
函数 而 定 , 如 适应 函数 fitness (x) 一 f(z) 二 x?, 于 是 

fitness (x) = 0, fitness (x,) 一 252， 

fitness (xz,) = 15°:, fitness (zx,) ~— 8°, 
定义 第 :个 个 体 人 选 种 群 的 概率 为 

fitness Cr,) 


了 > fitness {xj;) ” 
于 是 ,适应 函数 值 大 的 染色 体 个 体 的 生存 概率 自然 较 大 . 若 群 体 中 


P(X) 一 
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选 4 个 个 体 成 为 种 群 , 则 极 有 可 能 竟 争 上 的 是 zs 一 (11001) ,zs 一 
(10017 ,zx 一 《01111) ,zw 二 《01000). 车 它们 结合 ,采用 和 如 下 的 交 
配方 式 , 称 为 简单 交配 

xz = (111001) >1 = (11|111) 

Xs 一 co ys = {01|]001) 


zs = {11|001) ys = (111000) 

zs = (01 oo 一 一 ys = 《011001) 
即 交 换 第 二 个 位 置 以 后 的 菇 因 , 得 到 y, ,yyy 和 4. 车 yy 的 第 一 
个 基因 发 生变 异 , 见 变 成 y, = (11001). 门 


通过 例 4.1, 我 们 可 以 将 求解 组 合 优 化 问题 的 遗传 算法 简化 
地 捷 述 为 : 


遗传 算法 

SITEP1 选择 问题 的 一 个 编码 ;给 出 一 个 有 NN 个 染色 体 的 初始 娩 
体 pop(1),t :一 1， 

STEP2 对 群体 pop(z) 中 的 每 一 个 染色 体 pop,;(z) 计算 它 的 适应 
函数 


太一 fitness(KPopifty 7 
STEP3 车 停 止 规则 满足 , 旭 竺 法 停止 :否则 ,计算 概率 


CN (4. 1) 


并 以 概率 分 布 (4.1) 从 popG) 中 随机 选 一 些 染 色 体 构成 一 个 种 群 
newpoptt + 1}) = {popj(0)|j = 1,2,. ,NN}; 

[ 注 jaewpop 人 zt 十 1》 集中 可 能 重复 选 popC) 中 的 一 个 元 索 ,如 例 4 1 中 的 了 

就 进取 两 次 . 

STEP4 通过 交配 ,交配 琉 率 为 P., 得 到 一 个 及 个 染色 体 的 
crosspop(t + 1); 
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STEP5 以 一 个 较 小 的 概率 记 , 使 得 一 个 染色 栖 的 一 个 蕊 因 发 生 
变 蜡 ,形成 mutpop 惧 十 1);f :二 + 十 1; 一 个 新 的 群体 
Popt 一 mutpop(f) ;返回 STEP2., 


种 群 的 选取 方式 (4.1) 称 为 轮 盘 赌 . 以 下 再 通过 例 4.2 理解 焉 
传 算法 . 
例 4.2 用 遗传 算法 求 max7f(x) 二 1] 一 x?, x 七 [09,11]. 
由 于 对 连续 变量 求解 ,要 解决 的 一 个 问题 是 如 条 编 码 . 假设 对 
解 的 误 养 要求 是 1/16; 则 可 以 采用 4 位 二 进 制 编码 . 对 应 关系 为 
Caici 人 十 全 十 三 十 所 
车 计 算 的 一 步 如 表 4. 2. 
家 4.2 遗传 算法 中 的 一 步 计 算 
z 值 用 群 迟 适应 函 ”概率 ”new 交配 位 cross 是 否 mut * 值 
Pop(1) 数值 了 分 布 志 pop top 变异 pop 
1/16 0001 0.99€ 0.318 0001 00I01 0000 N 0000 0 
3/4 0100 0.938 0.299 O00 01|00 0101 YY 1101 13/16 
3/16 001] 0.965 0.308 0001 600|1 0001 N 0001 1/16 
778 tl10 0.234 0.075 0011 001[|1 0011 N 0011 3716 
平均 值 一 0. 7833, 交配 构 率 pp = 1， 变 蜡 概 率 加 一 0. 02 


在 表 4.2 中 ,newpop 只 选择 4 个 染色 体 ,交配 方法 采用 随机 造 
择 一 对 染色 个 体 按 交 配 位 进行 交叉 ,如 0001 和 0100 的 交配 位 随 
机 选 在 位 置 2, 经 过 交配 产生 0000 和 0191 两 个 个 情 . 在 算法 中 ， 
0001 和 0011 的 交配 位 随机 选 在 位 置 3, 经 过 交 本 产生 0001 和 0011 
两 个 个 体 . 这 样 的 交配 称 为 简单 交配 . 交配 后 的 染色 朵 组 成 
crosspop. 在 crosspop 中 可 能 有 些 染 色 体 会 产生 变异 . 简单 的 变异 
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是 erosspop 中 每 一 个 基因 都 以 同样 一 个 概率 变异 ,如 0101 第 -… 位 
的 基因 发 生变 蜡 . 灾民 后 ,得 到 mutpop ,也 就 是 新 的 群体 ， 口 

上 曾 的 例子 是 简单 遗传 算法 计算 的 一 步 . 简单 遗传 算法 可 以 
理解 为: 求解 的 问题 是 极 大 目标 孙 数 的 优化 问题 ;采用 0-1 二 进 制 
编码 :pop 中 的 染色 体 个 数 是 一 个 常数 ;初始 群体 随机 选取 ;和 通 
应 函数 为 日 标 函 数 ; 按 轮 盘 赌 方法 选取 琳 色 体 个 数 同 pop(z) 相同 
的 种群 ;交配 按 例 4.2 的 常规 交配 方法 一 一 一 对 染色 体 按 随机 位 
交换 位 后 的 基因 ;染色 体 中 的 每 一 个 基因 都 以 相同 的 概率 变异. 

以 上 只 对 遗 忧 等 法 有 一 个 直观 的 了 解 ,一 些 技术 问题 将 在 以 
后 的 各 节 中 订 论 . 归 缚 起 来 有 如 下 主要 因素 有 待 研究 . 

(1) 解 的 编码 和 解码 . 遗传 算法 的 基础 工作 之 一 是 解 的 编码 ， 
只 有 在 编码 之 后 才 可 能 有 其 他 的 计算 . 例 4.1 和 例 4.2 采 用 二 进 
制 编码 ,后 续 章 节 述 会 介绍 其 他 ' 些 基于 问题 的 编码 方式 .编码 和 
解 码 是 相对 应 的 . 算法 的 最 后 一 个 工作 是 通过 解码 得 到 问题 的 一 
个 解 . 

(2) 初始 群体 的 选取 和 计算 中 群体 的 大 小 . 一 般 采 用 随机 产 
生 初始 群体 或 通过 其 他 方法 先 构 造 一 个 初始 群体 . 通过 其 他 方法 
构 造 的 初始 群体 可 能 会 节省 进化 的 慌 数 ,但 也 可 能 过 早 地 陷 人 局 
部 最 优 群 体 中 . 我 们 称 过 早 地 陷入 局 部 最 优 群 体 中 的 现象 为 早熟 
(premature) 现象. 群体 中 个 悼 的 个 数 称 为 群体 的 维 数 . 群体 的 维 
数 越 大 ,其 代表 性 越 广泛 ,最终 进化 到 最 优 解 的 可 能 性 越 大 , 但 维 
数 大 的 群体 势必 造成 计算 时 间 的 增加 ,这 又 是 我 们 不 希望 的 . 群体 
的 维 数 常常 采用 一 个 不 变 的 常数 ,在 一 些 应 用 中 ,群体 的 锥 数 可 以 
采用 同 遗 传代 数 有 关 的 变量 ,以 使 算法 更 有 效 . 

《3) 适应 函数 的 确定 ,一般 情况 ,适应 陡 数 同 目 标 函 数 相 关 ， 
以 保证 较 优 的 解 有 较 大 的 生存 机 会 . 同 第 2 章 的 例 2.7, 可 以 采用 
百代 函数 ,这 将 在 后 续 部 分 讨论 . 

(4) 三 个 算 子 . 遗传 算法 的 三 个 算 子 是 ; 种 群 选 取 、 交 配 和 和 变 
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异 或 称 突变 .新 群体 产生 中 的 -- 个 主要 问题 是 如 何 选 取 种 群 .上面 
的 造 传 算法 中 已 经 介绍 ,种群 是 以 - -个 概率 分 布 一 一 轮 盘 赌 的 形 
式 选 择 个 体 而 产生 的 .种群 选 定 后 需 考虑 它 的 交配 规则 . 交配 规则 
较 儿 ,这 在 后 继 部 分 将 详细 讨论 ,如 双亲 遗传 法 , 主 个 体 副 个 体 规 
则 , 单亲 遗传 规则 等 . 还 需 考虑 交配 位 的 选取 ,交配 概率 及 产生 后 
代 等 - 些 细节 问题 . 变异 是 扩大 染色 体 选择 范围 的 一 个 手段 . 通 
常 ， 遗 传 算法 实现 变异 的 方法 基 对 予 每 -个 基因 一 个 相对 出 较 小 
的 变异 概率 .通过 随机 模拟 而 决定 -- 个 基因 是 否 变异 ,变异 概率 过 
小 使 解 有 一 定 的 局 限 性 ,遍历 性 较 善 . 变 拓 概率 较 大 使 得 进化 的 随 
机 性 增 大 ,也 不 容易 得 到 稳定 的 解 , 因此 ,不 可 忽略 变异 概率 如 何 
确定 这 一 过 程 ， 

遗传 算法 的 优越 性 可 以 简单 地 归结 为 以 下 三 条 . 

(1) 遗传 算法 适 人 台数 值 求 解 那些 带 有 窗 参 数 、. 允 变量 .多 日 标 
和 在 多 区 域 但 连通 性 较 差 的 NP-hard 优化 问题 . 对 多 参数 .多 变量 
的 NP-hard 优化 问题 ,通过 解析 求解 或 是 计算 求 景 优 解 的 可 能 性 
很 小 ,主要 依赖 于 数值 求解 . 遗传 算法 是 一 种 数值 求解 的 方法 ,是 
一 个 有 普 短 性 的 方法 ,对 目标 函数 的 性 质 几 乎 没有 要 求 , 甚 至 都 不 
一 定 要 显 式 地 写 出 目标 畏 数 ,因此 用 遗传 算法 求解 优化 问题 不 足 
为 奇 . 遗传 算法 所 具有 的 特点 是 记录 -一 个 群体 , 它 可 以 记录 多 个 解 
而 不 同 于 局 部 搜索 ,禁忌 搜索 和 模拟 退火 仅仅 是 一 个 解 ,这 多 个 解 
的 进 从 过 程 正好 适合 于 多 目标 优化 问题 的 求解 . 

(2) 遗传 算法 在 求解 很 多 组 合 优化 问题 时 ,不 需要 有 很 强 的 
技巧 和 对 问题 有 非常 深入 的 了 解 . 如 排序 (scheduling)、 路 线 调度 
{routing) 问题 ,布局 (ayout) 问题 等 ,这 些 问 题 可 以 参考 第 2 章 
2.4.2 的 车 问 排 序 问题 .第 1 章 例 1.2 的 TSP 和 第 3 章 3.6 的 下 料 
问题 ,如 果 不 用 这 些 普 适 性 的 算法 (如 禁忌 搜索 、 模 氢 退 火 和 通 传 
算法 等 ) 而 采用 其 他 的 针对 问题 而 设计 的 算法 ,要 得 到 一 个 比较 
好 的 解 , 其 算法 的 设计 技巧 非常 强 . 遗传 算法 在 给 问题 的 决策 变量 
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编码 后 ;其 计算 过 程 是 比较 简单 的 ,有 旦 可 以 较 快 得 到 一 个 满意 解 . 

{3) 遗传 算法 同 求解 问题 的 其 他 启发 式 算 法 有 较 好 的 兼容 
性 . 如 可 以 用 其 他 的 算法 求 初始 解 ; 在 每 一 群体 ,可 以 用 其 他 的 方 
法 求解 下 一 代 新 群体 . 

遗传 算法 也 不 可 避免 的 有 它 的 不 足 . 如: 

(1) 编码 不 规范 及 编码 存在 表示 的 不 准确 性 . 如 在 例 4.2 中 ， 
是 否 有 更 好 的 编码 方式 表示 连续 变量 就 值得 研究 . 对 TSP 问题 ， 
-个 解 可 以 表示 成 城南 的 一 个 序列 ,如 果 就 采用 这 种 编码 形式 , 便 
4.2 的 交配 规则 又 无 法 采用 . 

例 4.3 假设 8 个 城市 的 TSP 问题 , 两 个 染色 体 为 
《14562387)》 和 (56327841) ,这 两 个 交配 后 ,得 到 

(145623|87) (14562341) 
(563278|41) (56327887) 

交配 后 的 两 个 后 代 已 不 是 TSP 的 一 个 可 行 解 . 口 

于 是 ,交配 原则 局 问题 的 编码 紧密 相连 . 

(2) 单一 的 遗传 算法 编码 不 能 全 面 地 将 优化 问题 的 约束 表示 
出 来 .这 个 缺点 类 似 于 模拟 退火 算法 3. 5.1 中 有 关 解 表示 形式 中 
的 讨论. 考虑 约 东 的 一 个 方法 就 是 对 不 可 行 解 采 用 罚 值 , 毫 无 疑 
问 ,计算 的 时 间 必 然 增 加 . 

(3) 是 否 能 保证 收 敏 到 最 优 解 ?这 个 问题 需要 讨论 算法 的 一 
些 理论 ,我 们 将 在 下 一 节 讨 论 . 

本 章 在 没有 特殊 说 明 时 所 讨论 的 内 容 都 是 基于 组 合 优 化 问题 

之 一 maxf tx) 
s.t. g(r) > 0, 
XED, 

其 中 局 是 有 限 离 散 定 义 域 . 
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4.2 模板 理论 


模板 理论 (schema theorem) 是 针对 4. 1 节 的 简单 遗传 算法 建 
立 的 ,主要 从 一 种 结构 的 角度 说 明 遗 传 算法 的 收 斧 性 . 这 种 结构 ， 
在 此 称 为 模板 cschema), 在 遗传 算法 的 进化 过 程 中 , 合 有 这 种 模 
板 的 个 体 具 有 较 太 的 遗传 概率 1. 另 一 种 类 似 模 所 退火 算法 的 基 
于 马 氏 链 的 理论 对 遗传 算法 收 敏 性 的 研究 将 在 4.3 节 介 绍 5. 简 
单 超 传 算 法 的 主要 特征 有 群体 和 种 群 的 维 数 相等 , 且 不 随 代 数 
的 变化 而 变化 ;适应 函数 直接 选用 目标 函数 ;种 群 中 的 个 体 通 过 轮 
盘 赌 c4. 17 的 方式 选取 ;种 群 中 的 一 对 个 体 采 用 随机 交配 位 的 方 
式 产 生 一 对 了 于 人民; 每 一 个 基因 有 相同 的 变异 概率 . 

为 了 务 于 理解 ,我 们 和 将 染色 体 称 为 向 量 . 一 个 给 定 的 向 量 结 
构 , 包括 关心 的 分 量 位 置 和 值 . 称 为 该 向 量 的 一 个 模板 . 如 对 下 面 
的 两 个 染色 体 ,1010001 和 1111010, 它们 有 共 局 的 基因 和 结构 
lx1x0x* ,其 中 ,标记 * 的 位 置 表示 基因 不 同 或 我 们 不 关心 这 
个 位 置 的 取 值 . 称 互 王 1x*1x*0xx* 为 一 个 模板 . 具有 相同 模 酸 预 
示 着 两 个 染色 体 具 有 一 些 共 同 的 件 质 .对 于 维 的 向 量 ; 如 果 采 用 
二 进 制 编码 ,共有 3" 个 模板 . 从 遗传 学 的 角度 ,生物 体 的 代 代 中 
传 ,使 得 某 些 基因 和 模板 得 到 生存 ,生存 的 一 个 原因 是 这 些 基 因 和 
模板 有 很 强 的 适应 能 力 . 

车 向 量 的 各 分 量 取 值 0,1 或 * ,一 个 模板 中 0 或 1 所 占 的 位 置 
称 为 模板 位 置 , * 所 占 位 置 称 为 非 模 板 位 置 . 模板 的 长 度 (ength) 
定义 为 : 从 第 一 个 模板 位 置 到 最 后 一 个 模板 位 置 的 所 有 分 量 个 数 
减 1, 如 吾 一 1x1x*0x* 的 长 度 为 4, 上 其 合 义 是 从 模板 位 置 1 到 最 
大 的 模板 位 置 5 有 4 个 位 置 的 上 距离 . 模板 长 度 记 为 36 五 ). 模板 的 
阶 数 (order) 定义 为 ; 模板 位 置 对 应 的 确定 分 量 个 数 . 如 
1*1x0xx 的 阶 数 为 3. 记 成 o( 百 ). 基 染色体 立 在 互 的 模板 位 置 
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二 对 应 的 分 量 相 同 , 则 称 了 其 有 如 模板 . 记 G0) 是 第 t+ 代 群 体 , 即 


第 上 代 染 色 体 集合 ， 

TO0 = 二 {Y GQ)|Y 具有 模 税 右 }， {4.2) 
其 中 称 为 坦 传 的 第 i 代 .T(EH,G(2)) 为 模板 所 包 合 徇 G() 中 
的 所 有 染色 体 集 合 . 


在 于 面 的 结论 中 , 殷 设 群体 的 规模 不 变 , 即 遗传 的 过 程 中 ,每 
一 代 的 群体 中 染色 体 数 相同 . 由 于 遗传 算法 的 三 个 算 子 分 别 为 ;种 
群 选 取 .交配 和 变异 ,下 面 芋 个 引 理 分 别针 对 这 三 种 情况 独立 考虑 
模板 的 变化 ， 

引 理 4.1 在 生殖 过 程 中 , 若 每 一 个 个 体 被 选 人 种 群 
newpop 人 十 1) 的 概率 为 (4. 1)，, 且 种 群 的 规模 与 群体 相同 , 则 寞 松 
如 所 包含 的 染色 体 在 i 十 1 时刻 的 期 望 数 为 

ElH,t+1) = FAHDNCGH,), (4. 3) 
其 中 入 ( 吾 , 旭 为 时刻 工 ( 吾 ,pop(f)) 所 包 合 的 染色 体 数 ， 

3 fitnessY) 

YE oon |T(H ,Pop(t)) | 


1H = 1 HthessCYy ‘4.4) 
yp IPop tr) | 
证 明 ”五 模板 的 每 一 个 染色 体 被 选中 的 平均 概率 为 
| fitnessfY7 
YYETIH ,PoptE)) [TOUH ,pop(#))| " 
而 群体 中 每 一 个 个 体 被 选 的 平均 概率 为 
fitness(Y) 
Yetow [POP CYT 
所 以 ,(4.3) 成 立 . 口 


引 理 4.2 ”车 在 上 时刻, 模板 五 的 长 度 为 8 五 ) ,采用 简单 交 
配方 法 , 即 随机 选 一 个 交配 位 ,交换 位 后 基因 ,交配 的 概率 是 p., 则 
在 + 十 1 时 刻 模板 五 保留 下 来 的 概率 为 

PH DFI ED pH (5 
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其 中 , 户 (及 ,四 表示 t+ 时刻 模 板 召 出 现 的 构 率 . 

证 明 异 板 五 发 生变 化 的 可 能 是 由 交配 产生 的 . 由 于 采用 交 
配 位 后 的 基因 交换 ,因此 选择 第 一 个 模板 位 到 最 后 一 个 模板 位 中 
的 任何 一 个 位 置 为 交配 位 都 可 能 产生 模板 的 你 化 ,所 以 ,模板 发 生 


改变 的 最 大 概率 是 p. 个 9. 假设 交配 的 双方 有 相同 的 模板 , 则 交 


配 后 模板 不 变 . 一方 不 具有 同 瑟 相同 模板 的 概率 为 1 一 pCH,t). 
于 是 使 模板 瑟 改变 的 最 大 概率 为 


BE 
pe 7 — 1 pH ,ID)), 


在 交配 的 过 程 中 ,会 出 现 交配 的 双方 不 具有 玉 模板 ,但 交配 后 却 
有 具有 五 模板 , 故 有 
SH) 


Pt Dl pT PHD). 国 


经 过 简单 的 交配 , 引 理 4.2 指出 模板 中 的 模板 位 置 和 元 素 保 
持 不 变 的 最 小 概率 . 同样 下 面 的 引 理 4.3 也 是 专门 讨论 模板 的 
变化 ， 

引 理 4.3 假设 模板 五 在 1 时 刻 存在 的 概率 为 p( 瑟 ,t) ,经 过 
简单 变异 , 则 有 


PatH tt 1]) 宕 1 poCH), (4. 6) 
其 中 ,pa 为 每 个 基因 变异 概率 ,oCH) 为 H 的 阶 . 
证 明 ”变异 没有 改变 五 模板 的 概率 为 
(1 一 pe) 1 polH). 癌 
通过 上 面 三 个 引 理 ,从 数学 理论 得 到 种 群 选取 ,交配 和 变 屏 
后 ,-- 个 模板 HH 的 变化 概率 .由 此 ,可 以 综合 得 到 下 面 定理 ， 
定理 4.1 (模板 定理 ) 假设 群体 在 上 时 刻 时 有 相间 模板 召 的 
染色 体 个 数 为 N(CH,#), 经 过 满足 引 理 4.1 的 种 群 选取 ,满足 引 理 
4.2 的 蕊 概率 p. 的 交配 和 满足 引 理 4.3 以 概率 pp 的 变异 , 则 在 
f 十 1 时刻, 群体 中 具有 五 模板 的 染色 体 数 的 期 望 值 为 
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BOD ‘FH 
EH DP TPH) 
一 proCH) IFOH ON CH ED 
如 果 
一 1 

这 (1 - Al — pLH,)) — poCE)| , (4. 8) 

则 从 概率 意义 来 说 ,每 代 中 具有 五 模板 的 染色 体 个 数 将 随 民 数 z 
的 增加 而 增加 . 


证 明 “” 址 传 算法 每 一 代 的 遗传 由 种 群 选取 .交配 和 变异 三 个 
算 子 组 成 . 三 个 事件 的 综 会 效果 ,使 新 一 代 群 体 中 具有 模板 瑟 的 
染色 体 数 的 期 望 值 由 引 理 4.1.3 引 理 4.2 和 引 理 4.3 得 到 

EH + DD = EC(Ht + DpH tt DH,t+ 1) 


2 11 一 PE (1 一 p14))| 


x {1 — pao FH DINGH ,+) 
> {1 ED — pO)) 
— pao HYYFCH NCH,). i 
(4. 8) 的 右 端 是 个 不 小 于 1 的 数 . 由 此 可 以 推断 ,要 使 具有 
吾 模板 的 染色 体 个 数 随 代数 1 增加 ,必须 要 求 (4. 4) 的 产 百 ,站 不 
小 于 1. 直观 的 解释 是 : 若 要 具有 Y 模板 的 染色 体 个 数 代 代 增 加 ， 
必须 使 得 它们 的 平均 适应 性 不 小 于 1. 要 使 (4.7) 的 夺 端 尽量 的 
大 * 可 以 控制 的 参数 有 : 使 3( 五 ) 明 量 小 ,使 ofY) 尽量 小 . 在 平均 
适应 性 相同 的 前 提 下 ,新 的 一 忆 群 体 中 ,具有 低 阶 ,长 度 短 的 模 徐 
的 侈 色 体 期 望 数 不 低 于 那些 具有 高 阶 .长度 长 的 模板 的 染色 体 期 
望 数 . 低 阶 .长度 短 且 平均 适应 性 不 低 于 1 的 横 板 一 般 称 之 为 “ 积 
木 抉 ”Cbuilding block). 


例 4.4 用 遗传 算法 求解 z 一 hax ， 观察 模板 五 1 = 
Ec 


jx 2 一 *10x# 和 和 石 3 二 1x x* x*0 的 变化 情况 ， 
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表 4.3 得 传 掉 法 第 一 步 数 值 结果 


适应 函数 随机 模拟 选取 
No 群体 x f(z) 。 束 率 分 布 > 人 2 岂 现 次 数 
1 0110] 13 169 0. 14 0. 58 1 
2 11000 24 576 0. 49 1.97 2 
3 60too0 8 64 0. 06 0.22 0 
4 10011 19 361 0. 31 1. 23 ] 
合计 1170 1.00 4.00 4.0 
平 向 293 0. 25 1.00 1.0 
最 大 576 0. 49 1. 97 2,.0 
模板 特性 (生殖 前 ) 
模板 群体 ”具有 同 模 Po A 
板 保 色 体 cfs TH ,| 3 fF pop 人 | 
rE poptry 
五 1 ] 其 种 部 各 世 , 生 本 和 8 了 .下 
H2 xlOx# 2,3 320 1.09 
H3 lxwx0 2 576 1. 97 


按 表 4.3 用 软盘 赌 模 拟 选 取 种 群 , 在 种 群 中 ( 见 址 
4.4(a))11000 出 现 两 次 ,01101 和 10011 各 出 现 一 次 , 由 引 理 4. 1 
的 (4. 3); 种 群 中 具有 下 1 模板 的 染色 体 期 望 值 为 

ET,t + DD = FBIINCGHL ,EY 


_ 469 
一 293 X 2 A 3.20. 


同样 的 方法 可 计算 ECH24t 十 1) 一 2,18,EH3,t 十 1)=1.97. 
种 群 中 具有 与 五 1, 互 2 和 五 3 相同 模板 的 染色 体 实 际 出 现 数 ( 昂 表 
4.4(b)) 分 别 为 3, 2 和 2. 在 选 定 种 群 后 ,采取 两 个 染色 体 随 机 丐 
配 , 随机 选 一 个 位 置 进行 位 置 后 的 基因 交换 ,交配 的 概率 为 1, 变 
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翌 的 概率 为 0, 所 得 污 虹 如 表 4.4(a). 观察 新 群体 中 模板 I71,11? 
和 713 的 情况 ,结果 见 表 4. 4Cc). 它们 的 理论 期 望 数 由 (4.73 给 出 ， 
计算 吾 1 的 期 十 数 , 因 为 人 71) 一 0; 所 以 
ECHit + 1 ENAHIANGDHL EY) 
一 3. 20. 
计算 五: 的 朋 望 数 时 ,S0772) 一 1，z207200 一 214, 所 以 
EC(H24 + DE {1 二 — 0. FOI DDNCET2 .2) 
一 1.90. 


ECH3t + D1 fa ~ 0 25 FCHI NCHI,) 
一 0.49. 


家 4.4(a) 遗传 算 法 第 二 步 数值 结果 
种 群体 匹配 (类 机 选 ) 交配 位 (随机 选 ) 新 群体 z 值 fir) 


O110|1 2 各 01100 12 144 
110010 1 4 11001 25 625 
111000 4 2 1l1011 27 729 
101011 3 2 10000 16 256 
合计 1754 
平均 439 
最 大 729 


表 4.4() 模板 特性 (种 群 ) 


模 板 理论 期 望 数 实际 数 同 模 板 染 色 体 
HI 3. 20 3 2,3,4 
五 2 2.18 2 2,3 


HH3 1. 97 2 2,.3 
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表 4.4(c) 模板 特性 (生殖 后 ) 
理论 期 望 数 实际 数 同 模板 沫 色 体 
43. 20 3 A 


1.90 2 ,3 
C49 1 4 


其 中 , 亚 配 是 从 种 群 中 选择 一 个 匹配 的 对 象 ,如 表 4.4(a) 种 群 中 
选择 个 体 1 和 个 体 2 为 匹配 对 象 , 则 表示 他 们 两 个 成 为 交配 的 父 
母 . 表 4.4tb) 和 4.4(c) 中 的 同 模 板 染 色 体 是 共有 相间 模板 的 染色 
体 的 序号 . 上 面 的 数值 模拟 结果 友 映 了 定理 4.4 的 结论 .长 度 短 的 
模 概 适应 能 力 较 强 , 而 长 度 长 的 模板 适应 能 力 较 低 . 口 

在 一 个 有 产 个 染色 体 ,每 个 染色 体 的 编码 长 度 为 二 的 群体 中 ， 
经 过 一 代 遗 传 可 生存 的 模板 有 和 多少? 可 以 这 样 粗 赂 的 合计 ; 可 生 
存 的 模板 一 定 有 较 大 的 出 现 概率 ,给 以 一 个 固定 的 概率 值 产 ,由 于 
交配 使 得 长 度 大 的 模板 不 易 生 存 , 再 由 强 理 4. 2， 


POH) PoCH) 
了 


1 一 ”二 1 一 1 


则 要 求 


(1 一 产 ( 瑟 站 ) 之 二 一 


2 pr 


SB 所 记 


一 DU oe ps) 
一 一， 4.9 
Pe (4. 9) 


由 此 只 考虑 长 度 较 短 的 模板 ,考虑 染色 体 中 长 度 小 于 .的 模板 . 这 
样 长 度 的 模板 数量 的 一 个 下 限 为 22Cx 一 人), 上 式 的 估计 可 以 用 
于 面 的 例子 来 解释 :一 个 9 个 基因 的 司 色 体 关 关 关头 关头 关 关 并 
如 果 公 考虑 长 度 小 于 3 的 模板 , 则 由 *xx<x<x+*sssxs 再 表 示 
模板 中 的 一 个 基因 ,* 表示 不 关心 的 基因 , 则 将 三 个 $$ 一 体 逐 
位 后 称 宇 少 有 2: :C9 一 3 十 1) 个 不 同 长 度 不 超过 3 的 模板 .加 之 
在 群体 中 有 m 个 染色 体 , 故 长 度 小 于 全 的 模板 出 现 数 的 下 界 为 
m2 — ¢). {4. 10) 
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若 群 体 维 数 mm 二 232, 姑 长 度 小 于 6, 的 模板 出 现 数 为 Coxes). 这 是 
Golqbergn 1 估计 的 -- 个 结 虹 . 在 给 于 一 个 合适 的 群体 维 数 后 , 它 隐 
合 着 遗传 算法 的 -- 次 进化 中 平行 处 理 Ofxs) 种 不 同 的 模板 . 这 一 
性 质 般 被 称 为 遗传 算法 的 隐 式 并 行 性 (implieit parallelism). 


4.3 马尔 可 夫 链 收 钱 分 析 


本 节 所 讨论 的 内 容 基 于 简单 遗传 算法 . 
第 3 章 3.2 节 已 经 介绍 马尔 可 夫 链 的 一 些 基 本 性 质 . 为 了 进 
一 步 分 析 遗 传 算法 的 收 伍 性 ,再 引 人 下面 的 定义 和 性 质 . 

定义 4.1 一 个 方 阵 4 所 R"”" 称 为 ; 

《1 非 负 的 (4 衬 0) 著 ai 产 0YiE 2 成立 ; 
《2) 全 正 的 (4 > 汪 0), 若 co 全 DVD ET1,2z) 成 立 ; 
(3) 本 原 的 ,如 果 4 非 负 且 存在 一 个 整数 上 之 1 使 得 4 人 > 0 
《4) 归 约 的 ,车 丰 非 负 且 经 过 相同 的 行 和 列 初 等 变 挽 得 到 如 


下 形式 
C0 
(a 
其 中 :CC 和 了 各 为 方 阵 ; 
(5) 不 可 约 的 ,如果 4 非 负 生 不 是 归 约 的 ; 


《6》 随机 的 ,车 及 非 贷 且 Va, = 1],¥it {1 2, 1} 


《7) 稳定 的 ,车 4 是 一 个 随机 阵 且 所 有 行 相同 , 邑 每 一 刻 中 的 
元 素 全 部 相生 ; 

(8) 列 容 的 ,车 4 是 一 个 随机 阵 且 每 一 列 中 至 少 有 一 个 正 数 . 

下 面 的 引 理 是 遗传 算法 收 黎 性 分 析 的 基础 . 

引 理 4.4 若 C. 对 和 3 是 随机 的 ,其 中 本 >0 和 SS 是 列 容 的 ， 
W CMS > 10. 
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证 明 记 和 4 二 CM 和 如 二 AS. 央 为 C 是 随机 的 ; 则 C 的 短 一 
行 中 至 少 有 一 个 正 元 隶 . 由 此 


= De > 0 bb 二 La {I Hs, 
即 得 4 半 0. 类 似 ， 因为 8 是 列 容 的 ,得 到 
= Dasw > 0, ¥ tiyf 11, 2 ”0 n}. [Lj 


= 


中 理 4.5 若 己 是 本 原 随机 阵 ， 则 疡 收 化 到 一 .个 全 正 稳定 随 
机 阵 
"= limP: 一 (1,1 ,+ TCp, pers pe)s 


Ry 


其 中 (py ,pas* :Pa)! 唯 - - 洪 足 ， 
(pi pis ps)P 一 {pis Par: ,pr)s 


EE 


2 =1 和 p;= limpy > 0. 


即 (puspr，…,p.) 是 拓 阵 "的 特征 信 为 1 且 每 一 个 分 量 为 正 数 的 
特征 向 量 , 且 满足 Dp. 一 1. 


证 上 明 借助 定理 3.5 米 证 明 这 个 结论 . 感 兴趣 的 读者 可 利用 
本 章 练习 题 1,2,3 证 明 . 因为 了 为 本 原 随 机 阵 , 特 PP 看 成 时 齐 马 氏 
链 的 一 步 转移 矩阵 , 故 有 i277 11,2,…,n) ,存在 天 满足 pi > 
0. 由 定理 3.6 知 马 氏 链 是 不 可 约 的 .再 由 PP 半 0 得 到 PP! 半 0,7 六 
+ ,和 周期 性 的 定义 , 马 氏 链 中 的 任何 一 个 状态 都 是 非 周期 的 . 由 定 
理 3.5 得 到 以 下 结论 : 存在 平稳 分 布 (pi;ps,…,p,)7 满足 
CPis pes s POP = Cp pes pa), 


> 入 一 1 和 也 一 limzp > 0. 
+ 一 上 一 


理由 (pW 二 P( 练 习题 6) 推出 
= limP’ = C1 Tp pe pa). 员 | 
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Co 
引 理 4.6 若 P- | 了 | 的 随机 阵 ,其 中 可 约 阵 中 C 为 一 个 
eX 1 全 正 随机 阵 , 灵 .了 天 已 旭 
C* | 


P™ = ]im 产 = 一 hm 


Srac: Te 


是 一 个 稳 先 的 随 要 给 阵 ,满足 
P™ = lim 有 一 Cl 1 13 por pa), 


3 一 1 和 户 一 limpg 之 

其 中 ,pp 祈 00 和 7 了 和 到) ,pi 一 0m 十 1 和 7 了 之 7n), 上 有 表示 
ST'RC* 的 极限 . 

证 明 1) 首先 证 明了 有--- 个 特征 值 1;, 而 其 余 特 征 值 的 模 都 
小 于 1. 分 二 种 情况 分 别 讨论 . 

情况 1 了 二 (pi) 的 所 有 特征 值 的 模 都 不 超过 1. 假设 不 然 ， 
存在 -个 特征 划 41 沁 1. 考虑 特征 多 项 式 4= 二 导 一 P 二 (aj)， 
则 看 

外 as 一 1 Sy Lal )= 4~ 8p. — > pi 


Pt J 1 天 


宇 1 一 1 一 |p,l) 
一 41 一 1. 
到 此 ,由 练习 1 知 筷 可逆 ,与 4 是 特征 值 巴 盾 . 
情况 2 | 21 = 二 1 中 只 有 4 二 1 是 一 个 特征 值 . 设 P 的 一 个 特 
征 信 为 A 二 e*, 当头 2kx,& 为 整数 时 ， 
ja 一 [ 2 ash)= Neosg tising— pa — SY jp 


J 一 1 


一 V 机 2p.cosg 十 ] 一 Cl 一 pa) 
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= VO py + 2pall — cost) — (1 — p) 

> 0. 
则 第 一 种 情况 , 当 # 关 2kx 时 4 二 es 不 是 也 的 特征 值 . 明 季 ,特征 值 
4 二 1 的 一 个 特征 向 量 为 {1 ,1…,1) 7. 
和 Lh 


下 1 


SNrnce ， 71 ' 因 为 了 本 身 是 一 个 方 阵 和 办 


(2) 由 产 一 


关 0, 推 出 了 中 必 有 一 行 和 严格 小 于 1 ,而 其 他 行 和 不 超过 1. 状 虑 
特征 多 项 式 灯 一 了 : 当 1 4 之 1 时 ,好 一 了 是 主 对 角 占 优 , 由 练习 
1:42 一 了 可 递 . 由 此 得 到 上 4 上 < 1. 再 由 练习 3 得 到 T+->0 
(R00). 
(3) 由 | 村 一 Pi = | 一 CI|N,_。 一 T| 和 第 2 条 的 结论 ， 
1A 一 了 | 二 0 根 的 模 小 于 1, 
设 
C= Ordiag(D,,D,,…, D0, 
其 中 D。 对 应 4 二 1 的 约 当 标准 形 ,DD,,…,D, 对 应 特征 值 模 小 于 1 
的 约 当 标准 形 ,因为 
C= 0 diag (Di, Dt, ,DO,, 
所 以 Di 一 OF 一 00 一 112 下 ,5) (练习 3). 
因为 C 为 全 正 算 阵 , 所 以 由 引 理 4.5 得 C* 的 极限 存在 .由 DD， 
为 特征 值 为 1 的 约 当 形 , 若 D, 不 是 单位 阵 , 则 易 证 Di(k -> oo) 的 
极限 不 存在 ,因而 CC -> oo) 的 极限 不 存在 . 由 此 广 盾 得 知 DP, 为 
单位 阵 . 由 约 当 标准 形 的 理论 ,P 在 复数 域 可 以 变形 为 
P=0O dagd ,Dd SOO, 
其 中 ,如 基 一 个 可 道 复 方 阵 , 了 表示 单位 阵 ,J 表示 特征 值 模 小 于 1 
的 约 当 块 . 再 由 练习 3 和 
P= 0 diagh, F100, 
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得 到 PG 一 60) 极限 存在 为 diagtrovo 10)Q. 
(4) 4 一 1 的 代数 重 数 是 1. 候 设 4 一 1 的 代数 重 数 大 于 1, 则 至 
少 存 在 一 个 与 41; 1 1)7 线性 无 关 的 特征 向量 下 一 《Fly 
x7) . 候 没 {zi yrzr- ry) 中 最 小 的 元 素 为 (1 志 ?Y 所 1m). 由 
Co 1 
Fr 了 | CT Ea A = CT Ta ae》 


得 到 

Clr Oo TD) atzCOo— 二 十 cman — XA) 一 0; 
再 加 上 为 件 正 随机 阵 , 得 到 x 二 x 一 … 二 x 

由 于 同一 个 特征 值 的 特征 向 其 形成 线性 子 空间 , 选 x = (zi， 
za 的 第 一 个 分 量 x 一 1; 因而 和 一 xz 一 一 1. 
再 由 . 
(& 本 区 并 一 和 ,1 1)7) 
RT “ 的 


I 


0 
| (zi Ts) TT | 


_ 0 
|。 一 | 
得 到 
了 《renyxzo 一 《1 1 1) 
一 《ret 一 【1117)7， 
所 以 ,了 有 特征 值 1 的 特征 向 量 .与 第 2 双 的 结论 矛盾 ,因此 ,4 一 1 
的 代数 重 数 是 1. 
结合 53) 和 (4) 的 讨论 rank(@ diag(,0,0,…,0)Q) 一 


C 0 
| | 一再 由 引 再 4.5, 存 在 只 一 的 (prps,…pm) 消 且 


oe 


R, 0 


C™ = Cl py pas pn), 2 三 1 和 p> 0(l 守卫 径 
1#=1 
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17) 

综合 得 到 ,存在 唯一 (6 六 ao) 满足， 2 一 1,p, 一 
Jim 六 0 各 户 祈 001 守 7 守 ) ,一 000m 十 1 入 站 伟 71), 和 使 得 

P™ = limPp’ = Cle DT ps ps spa) | 

现 在 研究 简单 中 传 算法 的 马 氏 链表 示 方法 . 记 所 有 个 体形 成 的 空 
向 为 2, 个 体 用 羡 表 示 ,* © 吕 简单 遗传 算法 是 将 一 个 维 数 ( 规 
模 ) 为 N 的 群体 看 成 一 个 状态 . 再 记 简 单 和 遗传 算 法 的 马 氏 链 状态 
空间 为 口 , 简 单 遗 传 算法 的 状态 空间 维 数 是 和 MM 二 |G1 一 01*. 

例 4.5 ( 续 例 4.2) 由 于 群体 选用 4 个 染色 体 , 则 表 4.2 中 
{C0001) ,C01003 ;C0011) ,C1110)} 为 一 个 状态 ; {0000), (90101)， 
{0001) ,C0011)} 也 为 一 个 状态 . 染色 体 ( 个 体 )》 空间 前 维 数 是 24， 
所 以 简单 遗传 算法 的 状态 空间 维 数 是 对 = | 一 《〈2421. DD 

无 论 如 和 何 ,只 要 沼 色 体 空 间 的 维 数 有 腿 , 简 单 遗 传 算 法 的 状态 
空间 维 数 也 有 限 并 记 为 M. 遗传 算法 由 3 个 算 子 种 群 选取 .交配 和 
变异 组 成 , 由 于 超 传 是 循环 往返 的 ,为 了 证 明 容 易 ,我 们 按 交 配 、 变 
异 和 种 群 选 取 顺 序 考 虑 . 交配 .变异 和 种 群 选 取 使 得 一 个 群体 { 状 
态 变化 到 另 一 个 群体 (状态 ,这 也 就 是 一 个 有 限 状 态 马 氏 链 . 下 
面 就 按 这 3 个 算 子 分 别 讨论 . 

(1》 交配 

记 实 配 概率 算 阵 一 (caxwy 其 中 心 为 从 状态 i 经 过 交配 变 
为 状态 了 的 概率 . 一 个 状态 经 过 交配 运算 总 要 变化 到 另 一 个 状态 ， 
因此 


ep 一 】. 
C 为 一 个 随机 矩阵 . 


(2) 变 蜡 
经 过 每 个 基因 有 相同 的 变异 概率 Pp > 0 的 简单 变异 ,两 个 群 
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体 状 态 i 和 转移 的 概率 记 为 m,, 对 应 的 概率 矩阵 为 好 一 
Cow)wx wm 比较 两 个 群体 状态 和 了 中 个 体 顺 序 相 同和 位 置 相同 的 
基因 , 记 有 相同 基因 的 位 置 总 数 记 为 好 如 两 个 状态 
5 二 {C1000) ,C00101), (1100)}, 
3 = C10107 ,11106) ,01017}, 
则 五 ,= 6. 由 于 采用 染色 体 的 每 个 基因 有 相同 的 变异 概率 p> 
0, 则 状态 7 变 到 状态 了 的 概率 为 下 ,一 pp 多 (1 一 加) 二 0, 其 
中 壮 为 个 体 的 编 色 长度, 六 为 群体 的 规模 . 因此 好 是 一 个 全 正 矩 
阵 . 
(3) 种 群 选 取 
简单 遗传 算法 经 过 交配 和 变异 后 得 到 一 个 群体 (状态 ) ,通过 
种 群 选取 变化 到 另 - :个 状态 . 记 种 群 违 取 的 转移 矩阵 为 8 一 
(suxam 避 考虑 - -个 状态 i 经 过 种 群 选取 不 变 的 概率 s;. 假设 状态 
i 由 N 个 洪 色 体 { 基 | , 苹 ,,…*,Xw} 组 成 , 则 由 种 群 选取 的 元 盘 赌 方 
法 ,一 个 染色 体 X; 被 选中 的 概率 为 
fitness CX,) 


Dfitness 【生生 


上 一 1 


则 状态 :经 过 种 群 选取 不 变 的 概率 
NM | finess{X,) 
之 D 
I ee 


7 一 1 


所 了 性 一 (sw) 是 列 容 的 . 
定义 4.2 假设 优化 问题 要 求 目标 函数 f(z) 达到 最 大 . 令 
Zr — Max{f XA NF = 11,2, N}, 
其 中 了 (Ce 一 CD at st 是 第 上 代 遗 传 后 得 到 的 一 个 
群体 . 一 个 遗传 算法 收 敏 色 全 局 最 优 , 当 旦 仅 当 
limPr(Z, = 了"*)=1, 


> 0， 
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其 中, 一 maxfF(X)| 和 号) 

定理 4.2 若 参 数 满足 : 变异 概率 0< 思 一 1 交配 概 率 0 入 
p= 所 1; 则 简单 遗传 算法 不 收 襄 到 全 局 最 优 值 . 

证 明 说 状 态 了 一 (XXX 满足 max{f FDI 一 1， 
2 oN! 过 了" ,py 是 遗传 算法 第 i 代 在 7 状态 的 概率 ; 则 有 Pr12， 
二 让 } 人 1 一 成. 由 关于 交配 答 阵 忆 、 变 异 算 阵 可 和 种 群 选取 矩阵 
$ 的 讨论 和 天理 4.4, 知 CMS 为 全 下 矩阵 , 再 由 3 引 理 4. 5, limp 一 
好 六 0, 因 此 :limPr(2 一 广 ) 系 1 一 下 所 1 口 

定理 4.2 从 概率 的 意义 说 明 简 单 得 传 算法 不 收 化 到 全 局 最 
优 . 只 要 对 简单 遗传 算法 向 一 点 改动 ,每 次 记录 下 当前 最 优 解 并 将 
群体 状态 最 前 面 增 加 一 维 存 放 当 前 最 优 般 , 则 遗传 算法 收 侣 到 最 
优 解 . 

改进 简单 遗传 算法 的 主要 特征 是 :进化 的 每 一 代 中 ,记录 前 面 
各 代 遗 传 的 最 优 解 并 存放 在 群体 的 第 一 位 ,这 个 染色 体 只 起 -个 
记录 的 功能 而 不 参与 遗传 运算 . 此 时 ,第 i 代 进 化 时 , 马 氏 链 状 态 
的 形式 称 为 改进 群体 

【省 pet 人 一 1) 

其 中 Xbalt 一 1) 表示 遗传 到 上 一 1 牧 的 最 优 染 色 体 .Xu 一 1) 
可 以 是 如 中 的 任何 一 个 元 束 , 改进 遗传 算法 的 状态 空间 维 数 是 M4 
二 | 有 | 让 于 第 一 位 的 染色 体 不 参与 遗传 运算 , 将 第 一 位 相同 
的 改进 群体 归于 一 类 . 它们 具有 篇 单 遗 传 算法 相册 的 交配 和 托 阵 C， 
变异 抱 阵 于 和 种 群 选择 矩阵 $. 记 改 进 简单 遗传 算 装 的 交配 .变异 
和 种 群 选择 转移 阵 分 别 为 C++ 44+ 和 5S+, 则 按 第 一 位 染色 体 相同 
的 改进 群体 归 一 类 有 

Ct= diag(C,C,.,0), 

有 + 一 diag (CM,M,...,M), 

8+ 一 diagf(S,S… ,5), 
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其 中 各 对 角 阵 中 分 别 有 | 旭 | 个 CR 衬 利 5. 
只 其 第 一 个 记忆 位 考 惠 ,在 一 步 转移 中 ,状态 了 他 ) 二 (Xia(t 
— DXA) FG + 1) = (Xp) 十 1 pw， 
wtf 十 1)) 的 转移 概率 有 
1]， 若 maxtX (tt) Ky)) 一 大 bar 人 ti)， 
CHR) ,RNY) 
Pro¥Y er +t DIF 一 一 (Xi 二 1 R(t 二 1))， 
4.11) 
0 其它， 
如 果 将 第 一 位 的 染色 和 体 按 目标 值 从 好 到 坏 的 硕 序 排列 , 邮 第 
一 位 (4. 11) 的 变化 可 以 表示 为 一 步 转 称 概 率 算 阵 


心 
U U,, 

了 二 引 ， 
Un, Uo. 人 U lo, In! 


其 中 i 是 -个 191*X |9I 信 矩阵 ,UV 的 每 一 行 中 恰好 有 一 个 1， 
UU 是 一 个 单位 矩阵 . 

定理 4.3 如 果 改 进 简单 示 传 算法 按 交 配 、 变 异 .种 群 选取 之 
后 更 新 当前 最 优 染 色 体 ( 解 ) 的 进化 循环 过 程 , 则 收 敏 于 全 局 最 
优 . 

证 明 ”如果 将 第 一 位 的 染色 体 接 目标 值 从 好 到 坏 的 顺序 排 
列 ,这 个 进化 过 程 马 氏 链 的 一 步 转移 概率 为 

Pi=0C M' S+U 
CMS Ca 
CMS Us 了 
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CMSU,, 
CMSU,, CMSU,; 
CMSU ol CMSU 0,2 i CMSU ,lol 


由 CMS 是 全 正 推出 CMSU', 为 全 正 系 阵 . 由 算 阵 P* 第 位 
的 染色 体 按 和 目标 值 从 好 到 坏 的 磊 序 排列 , 则 
CMSU, 


CMSU,, 
CMSU,, 


天 0， T 一 ， A 0. 
CMSU ol.; CMSUa, a 


CMSU ,I 
利用 引 理 4. 6 得 知 ; 不 包含 最 优 染 色 体 的 状态 在 马 氏 链 的 极 
腿 分 布 中 的 概率 为 0, 且 有 包含 最 优 染 色 体 的 状态 极限 分 布 和 为 
1, 定 理由 此 得 证 . L 
定理 4.4 如果 改 进 简 单 遗 传 算法 按 交 配 . 变 异 后 就 更 新 当 
前 最 优 划 色 体 ,之 后 再 进行 种 群 选 取 的 进化 循环 过 程 , 则 收敛 于 全 
局 最 优 . 
证 明 留 给 读者 . 
本 节 对 改进 简单 过 传 算法 从 马 氏 链 理 论 进行 了 分 析 . 文献 [5_ 
对 编码 是 十 进 制 . 多 种 变异 形式 用 马 氏 链 理论 分 折 了 它们 的 收 黎 
性 ,得 到 类 似 缚 果 . 


4.4 ”实现 的 技术 问题 


遗传 算法 同 禁 尽 搜 索 和 模 氢 退火 算法 一 样 , 主 要 间 题 之 一 是 
算法 如 何 实现 的 技术 问题 . 实现 算法 的 各 种 技术 问题 是 热门 题目 . 
下 面 所 讨论 的 一 些 技 术 方 法 有 些 是 借助 于 喜 观 ,有 些 册 有 一 定 的 
理论 . 在 下 面 的 讨论 中 ,我 们 不 依 球 于 理论 地 给 出 技术 网 节 . 
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4.4.1 编码 


编码 十 遗传 算法 中 的 基础 工作 之 --. 比较 直观 和 常规 的 方法 
是 0,1 二 进 制 编码 ,我 们 称 这 一 类 码 为 常规 码 .这 同人 类 的 染色 体 
成 对 结构 类 似 . 这 种 编码 方法 使 算法 的 三 个 算 子 构造 比较 简单 . 诸 
如 前 面 介 绍 的 简单 遗传 算法 的 交配 .变异 非 常 简单 .对 一 些 优化 间 
均 有 其 表示 简单 和 直观 的 优越 性 - 如 第 1 章 例 ]. 1 的 0-1 背包 问题 
和 例 4. 1. 

便 4.6 01 背包 问题 为 


中 
1 
= max >， Ci 


i=1 


St。 Da A 
1 一 1 


TE 10,1}. 
问题 的 解 是 一 个 0-1 向 量 ,1 表示 装 包 ,0 表示 不 装 . 于 是 ,可 以 按 
criza za) 的 取 值 形成 一 个 自然 编码 . 这 样 的 编码 很 直观 且 易 
于 遗传 算法 的 应 用 . 回 
采用 0-1 码 可 以 精确 地 表示 整数 ,如 例 4. 1 的 编码 . 精确 表示 


4 到 上 56 整数 的 0-1 编码 长 度 #n 满足 ” 克 S11 logstb — a). 


连续 变量 也 可 以 采用 二 进 制 编码 ,但 斋 要 考虑 精度 . 对 给 定 的 
区 间 [a,#], 设 采用 二 进 制 编码 长 为 n, 则 任何 一 个 变量 
T+ 
对 应 一 个 二 进 制 和 ga14,…as. 二 进 制 码 与 实际 变量 的 最 大 误差 为 
oa 

2 

常规 码 在 表示 有 些 组 合 优化 问题 时 会 显得 无 效 或 不 方便 , 如 

例 1.2 的 TSP 问 题 , 它 用 的 是 图 表示 法 , 选择 一 个 狐 ,分量 对 应 的 


立 一 各 十 ai ， (4.12) 
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变量 为 1, 否则 为 0. 这 样 一 个 城市 TSP 的 解 呈 用 一 个 WX (xn 一 
1 的 0 1 向量 表示 . 里 说 用 常规 码 表 示 上 比较 简单 .但 是 , 当 每 两 个 
结 点 有 弧 相 连 ,二进制 编码 的 所 有 解 的 个 数 为 2 7 当 确 定 --… 个 
城市 为 始终 点 时 ,我 们 可 用 城市 间 顺 序 的 排列 来 表示 可 行 解 , 可 行 
解 的 个 数 有 (an 一 1)1, 如 果 是 对 称 TSP, 可 行 解 的 个 数 为 


叶 二 了 .采用 这 种 0-1 编码 ,在 计算 过 程 中 只 有 极 小 的 比例 


全 去 这 为 可 行 解 ,大 量 的 计算 浪费 . 针对 TSP, 一 个 自然 的 表示 


方法 是 个 城市 的 排列 . 但 由 例 4.3 得 知 常 规 的 交配 对 这 种 编码 

失效 .于 是 ,有 必要 讨论 这 种 非常 规 的 编码 方式 及 其 交配 方法 . 
除 常规 的 0-1 编码 外 ,其 他 的 非 0-1 码 称 为 非常 规 编码 . 非常 

规 的 编码 同 问 题 联系 紧密 ,如 TSP, 下 面 将 通过 例 1.5 约束 机 殴 排 


序 癌 题 的 编码 来 理解 非常 规 码 . 
例 4.7 约束 机 器 排序 问题 为 
minT 
Ss.t, Dx 一 了 ,+= [12 7, 


了 as cr 一 上 2 了 ， 
+ 一 让 


Te) 一 1 2 一 1，2) 了 . 

很 容易 得 知 , 它 的 特殊 情形 (ec, = c) 是 装 箱 问 题 . - -个 自然 的 
编码 是 选用 决策 变量 的 0-1 码 , 是 一 个 = X 工 的 向 量 . 由 于 了 是 决 
策 变量 ,因此 码 的 上 腿 是 不 确定 的 . 简便 的 处 理 方法 是 给 定 一 个 充 
分 大 的 数 尺 , 使 得 在 久 个 时 展 内 一 定 可 以 达到 最 优 解 . 这 样 估计 下 
成 为 问题 的 关键 . 估计 的 本 大 会 不 必要 的 占用 记忆 空间 ,估计 的 太 
小 根本 达 不 到 最 优 解 . 皂 使 估计 下 比较 容易 解决 ,常规 的 0-1 编码 
还 存在 致命 的 缺点 . 编码 没有 考虑 能 力 的 约 东 ,对 应 每 一 个 时 段 只 
有 0-1 码 确定 后 才 知 道 能 力 是 否 满足 . 因为 解 空间 中 大 量 解 是 不 
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可 行 解 . 若 对 不 满足 能 力 约 末 的 解 采 用 罚 值 的 方法 ,计算 时 间 必 有 定 
增加 ， 

精 确 的 估计 是 : 每 个 解 几 一 个 nx XT 荆 的 向 量 表示 , 解 空 间 中 
共有 2*’ 个 状态 , 疹 假 设 每 个 时 段 最 多 可 以 加 工 个 产品 , 则 至 少 
有 2 27 一 1 个 解 是 不 十 行 的 ,因此 对 这 些 不 可 行 解 的 计算 是 党 
费时 间 , 当然 可 以 动态 控制 TT 的 大 小 ,但 是 和 何 时 增加 或 减少 荆 同 样 
也 是 一 个 难以 解决 的 问题 

针对 这 个 问题 ,一 种 有 效 的 编码 方法 是 给 产品 (1,2,*… ,nn) 一 
个 那 工序 (sia，…,) ;由 加 工序 按 能 力 约 东 以 最 小 的 剩余 能 力 依 
次 安排 时 段 加 工 ,在 加 工 的 过 程 中 不 多 许 改 变 产 品 的 加 工序 . 如 产 
品 需求 为 (中 一 5,d; 一 3，d 一 10,d 一 4) ;前 5 个 尘 眉 可 提供 能 
力 为 (3,9,10,5,20) ,车 按 [1,2,3,4) 顺序 加 工 , 各 时段 加 工 的 产 
品 为 : 第 1 个 时 段 不 加 工 , 第 2 个 时 段 加 工 产品 1 和 2, 第 3 个 时 县 
吉 工 产品 3, 第 4 个 时 段 加 工 产 品 4. 很 明显 ,最 优 解 为 第 1 时 县 加 
工 产品 2, 第 2 时 自 加 工 产 品 1 和 4, 第 3 时 有 段 加 工 产品 3, 最 优 序 为 
(2,]1,4:3). 口 

就 这 两 种 编码 法 ,第 1 种 虽然 直观 ,但 没有 考虑 问题 的 特 牲 ， 
在 解 的 构造 中 没有 考虑 约束 ,造成 计算 中 出 现 不 可 行 解 ,浪费 计算 
时 间 . 第 2 种 编码 方法 考虑 问题 的 特性 及 约束 情况 , 它 的 表示 也 非 
常 简单 ,在 计算 中 无 不 可 行 解 ,因此 ,不 会 因为 不 可 行 解 的 处 理 而 
浪费 时 间 , 同样 它 同 TSP 的 城市 序 编 码 一 样 ,存在 交配 和 变异 规 
则 确定 问题 . 

编 码 问 题 的 讨论 中 包含 有 这 样 一 种 观点 : 虽然 遗传 算法 、 模 
所 退火 .禁忌 搜索 等 ,是 具有 通用 性 的 全 局 最 优 算法 ,如 果 不 针 对 
疝 题 设计 算法 ,其 计算 时 间 可 能 是 非常 大 的 ;可 以 通过 对 阿 题 的 了 
解 而 换取 计算 时 间 的 节省 . 这 让 是 目前 被 一 些 学 者 接受 的 “无 免费 
午餐 (参考 文献 [6])” 观 点 . 
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4.4.2 评价 遗传 算法 的 常用 方法 


遗传 算法 的 模 松 定理 只 对 模板 的 进化 趋势 给 以 讨论 . 马 氏 链 
收 铬 分 析 给 出 概率 1 收 敏 的 条 件 . 无 论 如 何 ,理论 分 析 都 是 无 穷 代 
进化 的 概率 结 架 . 用 一 个 方法 监察 计算 过 程 中 解 的 变 全 尊 菇 ,可 以 
了 解 进 化 的 程度 以 便 决 定 是 否 继 续 下 去 , 遗传 算法 求解 最 优化 问 
题 的 -- 个 目的 是 得 到 最 优 解 . 于 是 需要 了 解 遗 传 算法 求 最 优 解 的 
功效 - 为 了 尽 可 能 地 利用 信息 ,常用 处 理 方法 和 评价 法 分 类 讨论 
如 下 . 

当前 最 好 解 (best-so-far) 方法 . 在 每 一 代 的 进化 中 ,记录 下 载 
好 的 解 . 通过 这 个 最 好 解 展示 算法 的 效果 . 这 个 最 好 解 可 以 用 于 不 
同 算法 的 横向 比较 . 如 果 知 道 问 题 的 下 界 ,也 可 以 自身 比较 它 的 功 
效 . 

在 线 Con-line) 比较 法 , 用 进化 过 程 中 的 每 -个 解 来 了 解 进化 
趋 元 ,其 计算 公式 为 


于 
oR-ltor 了 了 
wm Tr)) (4. 13》 


其 中 ,TT 为 当前 计算 中 群体 中 出 现 的 染色 体 总 数 ,v0) 为 第 :个 染 
色 体 的 目标 值 . 
离线 (eft 一 line) 比较 法 . 与 在 线 比 较 法 类 亿 , 其 计算 公式 为 


nf-line 抽 1 - 
wl DD) 一 到 20 (7), C4. 14) 


其 中 ,人 为 当前 计算 中 所 出 现 的 遗传 代数 ,wv* (2) 为 第 : 代 前 (包括 
第 : 代 ) 时 所 得 最 优 目 标 值 , 即 
wv (1) = max{o CT C2), sw Cf — 1 vw" (pop C20)}, 
古 " (pop (f)) 表 示 pop (i) 中 的 最 优 目 标 值 . (4. 137 和 (4.14) 的 区 别 
在 于 (4.13) 中 的 + 是 记 第 :个 染色 栖 , 而 (4.14) 的 + 是 第 zt 代 ， 
(4, 14) 的 务 -种 理解 方法 是 mw () 为 第 1 代 时 所 得 的 最 优 踢 
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标 值 , 艺 


Ti 一 max fot)}. [4. 15) 
1E poptiy 


《4. 15) 交 提供 一 种 评价 进化 计算 的 方法 . 如 果 记 录 当 前 时 刘 
的 最 优 解 , 4. 15) 可 以 用 来 出 较 每 一 代 中 解 的 改进 情况 . 

所 直观 可 以 看 出 , 漂 优 化 问题 基 最 大 化 自 标 通 数 时 , 随 着 了 
的 增加 (4. 14)? 应 该 具有 于 升 艳 势 .因为 适应 栈 数 取决 于 肯 标 函数 ， 
随 着 - - 代 代 进化 使 适应 能 矿 强 的 染色 体 生存 下 来 ,也 就 是 目标 秆 
大 的 状态 保 角 下 来 ,54. 14)? 的 平均 值 上 升 . 

(4. 13) 虽 说 不 同 于 (4. 14), 但 总 的 变化 趋势 是 相同 的 . 可 能 不 
司 的 地 方 是 在 每 一 代 ,(4.13) 可 能 有 波动 ,但 代 与 代 之 间 还 应 该 保 
持 工 升 趋 执 . 

通过 (4.13) 或 (4.14) 或 (4.15) 的 监控 ,可 以 掌握 遗传 算法 计 
算 的 进展 情况 ,以 决定 是 否 改 进 , 停 止 算 法 . 


4.4.3 初始 参数 的 选取 和 停止 原则 


1， 群体 的 规模 
在 算法 的 第 一 步 , 需 要 确定 群体 的 规模 . 从 第 4. 2 节 最 后 的 理 


论 分 析 的 结果 ,一 个 比较 好 的 群体 规模 为 mm 二 27, 其 中 6, 为 满足 
(4. 9) 亡 求 的 模板 长 度 . 这 个 群体 的 规模 隐 售 OCm') 个 模板 的 并 行 
计算 . 从 (4. 9 估计 有 为 OCn) ,其 中 疙 为 个 体 的 编码 长 度 , 于 是 当 
编码 长 度 增 加 时 ,群体 的 规模 指数 增加 . 车 将 这 一 群体 规模 应 用 在 
大 规模 的 实际 问题 中 ,可 以 推断 它们 群体 的 规模 非常 之 大 ,因此 带 
来 计算 时 间 的 增加 ,于 是 遗传 算法 难以 同 其 他 的 算法 竞争 . 

群体 的 规模 取 个 体 编码 长 度数 的 一 个 线性 倍数 是 实际 应 用 时 
经 常 有 果 用 的 方法 之 一 . 如 在 nn 和 2x 之 间 的 一 个 确定 数 . 

群体 规模 的 选择 也 可 以 是 变化 的 . 非常 直观 , 当 (4.15) 多 个 进 
化 代 没 能 政变 解 的 性 能 ,保持 现 有 的 群体 规 欧 已 很 难 改进 解 ,此 时 
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可 扩大 群体 的 规模 . 反之 , 若 解 的 改进 非常 好 , 则 可 以 减少 群体 的 
规 横 以 便 吉 快 计 算 的 速度 . 

2. 杨 始 群体 的 选取 

大 多 数学 者 接受 这 样 的 一 个 观点 :初始 群体 应 该 随机 选取 . 只 
有 随机 选取 才能 达到 所 有 状态 的 沪 历 ;因而 最 优 解 在 跟 传 算法 的 
进化 中 最 终 得 以 生存 . 毫 无 疑 间 , 初 始 群 体 的 随机 进取 加 大 了 进化 
的 代数 ,因而 ,加 大 了 计算 时 间 ., 因此 ,一 些 学 者 提出 应 该 用 其 他 的 
一 些 启 发 式 算 法 或 经 验 葛 择 一 些 比 较 好 的 染色 体 ( 种 子 ) 作 为 初始 
群体 . 争论 的 焦点 是 :种 子 的 选取 有 一 定 的 仿 见 和 缺乏 代表 性 , 因 
此 可 能 产生 早熟 而 无 法 求 出 最 优 解 ,这 个 问题 实际 上 的 结论 是 “无 
免费 午餐 ”应 用 者 应 针对 实际 问题 而 权衡 . 

3. 终止 规则 

一 个 最 为 简单 的 停止 规则 是 给 定 一 个 最 大 的 遗传 代数 MAX- 
GEN ,算法 先 代 代数 在 达到 MAXGEN 时 停止 . 

第 2 类 方法 是 给 定 问题 一 个 下 界 LB 的 计算 方法 , 当 进 化 中 
达到 要 求 的 偏差 度 s 时 ,算法 终 目 ; 即 当 vw (0) 一 LB<e 时 , 停 下 

第 3 类 规则 有 一 定 的 自 适应 性 . 如 (4.13)、(4. 14) 和 《4.15) 的 
评价 算法 规则 , 当 由 它们 监控 得 到 算法 再 进化 已 无 法 改进 解 的 性 
能 ,此 时 停 目 计算. 如 用 {4.15) 监 控 到 算法 已 经 下 代 没 有 进化 到 
一 个 更 好 的 解 , 于 是 算法 停止 . 

最 后 一 类 是 多 种 停止 规则 的 组 合 . 如 第 1 类 和 第 2 类 或 第 3 
类 准则 的 组 合 . 


4.4.4 进化 过 程 中 的 技术 问题 


这 是 遗传 算法 应 用 中 讨论 最 多 的 内 容 . 主要 涉及 进化 过 程 中 
适应 丽 数 的 确定 .种群 的 选取 .交配 的 及 变异 方法 等 问题 . 下 面 逐 
个 问题 过 论 . 
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1， 适应 函数 
(1) 简单 适应 也 数 
简单 的 适应 晒 数 是 日 标 函 数 的 简单 变形 . 车 fix) 为 目标 函 
数 , 则 适应 晒 数 可 以 取 
fitness(z)》 二 A(x)， 优化 县 标 为 最 大 ， (4. 16) 
fitnessCr) 二 本 一 A(x)， 时 六 emo 且 优 化 目标 为 最 小 . 
(4.16') 
简单 适应 函数 的 优点 是 构造 简单 ,与 目标 请 数 直 接 相关 . 
值得 注意 的 是 : 采用 简单 适应 呵 数 可 能 使 得 算法 在 选 代 过 程 
中 出 现 收 合 到 一 些 目 标 值 近似 的 不 同 染 色 体 ,因此 再 采用 简单 的 
适应 函数 已 难 区 别 这 些 染 色 体 . 
例 48 已 知 优 化 问题 为 : z= .下 ax -7 Cr) 一 -了 ax (1 十 
logx}. 若 采 取 (4. 12) 四 位 编码 上 且 适 应 函数 为 惰 化 问题 的 目标 函 
数 . 遗传 算法 进化 的 某 一 步 为 表 4. 5: 


家 4.5 

二 群体 fitness tz) 概率 分 布 p。 
173 0000 0, 699 0. 221 
578 0100 0. 796 0. 252 
21732 0101 0. 817 0, 259 
23/32 0111 0. 857 0. 271 


此 时 ,车 从 群体 中 以 概率 分 布 选取 种 群 ,由 于 它们 的 概率 分 布 
值 相 差 很 小 ,因此 很 难 区 别 哪 -- 个 染色 体 占 先 . 口 

(2) 非 线 性 加 速 适应 函数 

例 4.9 ( 续 例 4.8) 从 随机 模拟 来 看 , 表 4.5 的 适应 值 改进 的 
速度 非常 慢 , 车 将 适应 函数 用 同 目标 函数 其 有 相同 变化 趋势 ,但 变 
化 速度 更 快 的 
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fitness (xr) 一 i 一 工 
ar0，1<S 工 
替代 ,其 中 邓 是- :个 充分 大 的 数 , 则 表 4.5 改 进 为 表 4. 5 


表 4 3 


区 群体 fitnesstz) 概率 分 布 产 - 
1 0000 2 0. J80 
578 0100 2.667 0. 240 
21/32 010] 2. 909 0. 261 
23/32 0111 3. 556 0. 319 


此 时 ,已 有 较 明 显 的 区 别 . 要 构造 这 样 的 蔡 代 郴 数 需要 对 问题 有 较 
深入 的 了 解 ,起 码 知 道 ] 是 问题 的 最 优 解 ,这 不 是 非常 容易 的 . 一 
个 有 效 且 简便 的 方法 是 根据 已 有 的 信息 构造 奉 代 函 数 . 如 


1 
Fo 一 FY)! Ar) < fs (4. 17) 


fitness (xX) 一 | 
af 0D， f(z) = fs 
其 中 1 是 一 个 充分 大 的 数 , 广 .是 当前 的 最 优 目标 值 . 上 式 将 表 


4.5 改进 为 表 4. 5" 


.3 4. s" 

Es 群体 fitnessfz) 概率 分 布 疡 - 
172 DO 6. 32 对 8. 3297/ C47, 722 MY 
578 D100 16. 393 16, 393/ (47, 722 二 MY 
21732 lo 25. 000 257/ {47. 722+M) 
23732 上 1 1 Mm MCF. 722 WM) 


于 是 ,(4.17) 仅 根据 已 有 的 计算 信息 得 到 .在 (4. 17) 中 ,存在 的 癌 
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题 旦 M 的 选取 ,MM 决定 当前 最 优 解 的 继承 性 . 已 

(4.17? 给 出 适应 函数 的 -种 求解 方法 .在 例 4.9 适 应 晒 数 构 
选中 ,M 有 很 重要 的 作用 . 选取 1 的 策略 是 :初始 选 代 时 ,JM 同 第 
一 大 与 第 二 大 日 标 差 值 的 倒数 尽量 接近 以 避免 早 邵 , 后 期 选 代 中 
逐步 扩 太 差 曙 .也 可 以 在 早期 选 枯 中 用 简单 的 适应 函数 ,而 在 后 期 
用 这 类 加 速 的 方法 . 

(3 组 性 加 速 适 应 孙 数 

对 {4.17) 的 思想 进一步 系统 化 得 到 线性 加 速 适应 函数 . 线性 
加 速 适应 函数 为 


fitness tx) = af tz) + 8B, 4,18) 
其 中 4, 按 下 方程 确定 
Df DJ fx) 
让 1—1 + -一 z 一 1 
了 2 mm 
m 了 【本 . 137) 
fr,) 


amax{fltr)} + B= ME 
lim Ei 


其 中 所 有 的 划一 1,2，…,m) 为 当前 代 群 体 中 的 各色 体 . (4. 19) 
的 第 一 个 方程 表示 平均 值 变换 后 不 变 , 第 二 个 方程 表示 将 当前 最 
优 值 放大 到 平均 值 的 M4 倍 . 选取 M 的 策略 是 : 当 目标 值 相 差 较 大 
时 ,MM 不 要 过 大 ,以 便 和 遗传 的 随机 性 ; 当 让 传 的 一 个 群体 目标 值 接 
近 时 ,逐步 扩大 M. 


由 (4. 39) 解 得 
SY fr) 
(MC— 1 
a 一 ， 
Fr) 
max {f(x})} 一 二: 
1 和 i mm 
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> Cr 
B 2 Ar) max {fz} ME -- 
| Dy fs) 


i 二 1 


max {ftx)} 一 


(4) 排序 适应 函数 

将 同 - 代 群 体 中 的 mm 个 染色 体 按 且 标 函数 值 从 小 到 大 排列 ， 
恒 将 这 些 染色 体 按 昌 标 值 由 小 到 太 记 为 1 至 mr. 直接 取 分 布 概 
率 为 

2 
zf + 1)’ 
这 样 , 避 天 了 对 目标 函数 进行 线性 . 非 线性 等 加 速 适应 函数 的 早熟 
可 能 ,使 每 ~… 代 当前 最 好 解 以 最 大 的 概率 2/ (xm 十 1) 遗 传 . 

加 速 适应 函数 的 思想 同 第 3 章 模 拟 退 火 算法 的 接受 概率 思想 
相似 ,都 希望 开始 时 舞 一 个 状态 有 比较 大 的 选取 性 , 随 着 计算 的 -- 
些 步 进行 ,逐渐 拉 开 目标 值 林 同 所 对 应 状态 的 档次 . 这 种 相似 之 处 
可 使 遗传 算法 和 模拟 退火 算法 很 好 的 结合 . 在 4. 5 节 将 专门 介绍 
这 个 内 容 ， 

2. 交配 规则 

遗传 算法 中 ,交配 规则 较 多 ,此 处 只 介绍 一 些 比较 常用 的 规 
则 . 

‘12 常用 方法 - 一 双亲 双子 法 

这 种 方法 是 在 双亲 确定 后 ,以 一 个 随机 位 进行 位 之 后 的 所 有 
基 办 对 换 . 对 换 后 形成 两 个 后 代 . 简单 的 示例 如 下 : 


交配 位 交配 位 
| | 
公德 1001100 子 代 站 100|010 


父 代 BB 010]1010 子 代 B 010|100 


pf) = I i 和 mm， (4. 20) 
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这 是 一 和 神 非 常 简 单 的 方法 .4.2 节 的 理论 就 是 在 这 种 交配 上方 
法 下 得 到 的 . 

(2) 变化 变 配 法 (stting-of-change crossover) 

对 于 某 些 双亲 ,采用 常规 方法 可 能 造成 父 代 与 子 代 完全 相同 ， 
这 样 势 必 影响 收 令 速度 和 搜索 范围 . 如 


交配 位 交配 位 
公信 A 碎 1|11011001 子 共 态 1]110}1001 
父 代 B 1111010010 子 代 也 1i|1|0|0010 


昔 选 交 般 位 在 1,2,3, 则 这 样 的 交配 无 任何 变化 ,因此 ,应 该 避 开 
这 三 个 位 置 .可 以 采用 的 方法 是 从 头 开 始 先 比较 它们 的 相同 的 基 
因 , 从 不 同 基因 位 置 按 常规 方法 随机 选 交 配 位 . 如 比较 上 面 示例 得 
sssdsdd ,其 中 s 表示 相同 ,d 表示 不 同 . 交配 位 可 以 在 第 4 到 第 7 
位 随机 选取 . 

《3) 多 交配 位 法 (multi 一 point crossovery》 

随机 选择 多 个 交配 位 ,双亲 以 一 个 交配 位 到 下 一 个 交配 位 基 
因 相 互 替代 和 和 下 一 个 交配 位 到 再 下 一 个 交配 位 不 变 这 样 交 灵 形 成 
两 个 新 的 后 代 . 如 有 两 个 交配 位 


交配 位 交配 位 
| 1 | | 
公民 A 111011001 子 代 在 111001001 


信和 伐 B 11I1001010 子 代 B 11|01|010 
和 有 三 个 交配 位 

交配 位 交配 位 

| | | | | 1 

父 代 和 1110110011 子供 六 1110010010 


父 代 了 11|00[01|90 子 代 呈 1t110110111 
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(4) 双亲 单子 法 
这 一 方法 生得 一 对 双亲 只 有 一 个 后 伐 . 一 类 是 从 常规 交配 法 
的 两 个 后 代 中 随机 选 - :个 , 另 -- 类 则 是 根据 优胜 劣 法 从 两 个 上 后代 
中 选 一 个 好 的 . 如 
变 配 位 交配 位 
| | 
父 代 站 11011001 子 代 11t011010 
父 伐 马 000010]10 


同样 ,变化 交配 法 和 多 交配 位 法 也 可 以 选择 双亲 单子 法 . 

(5) 显 性 遗传 法 (dominance) 

对 双亲 中 的 基因 ,有 些 是 其 有 优 超 闫 系 的 ,这 些 攻 因 必 将 遗传 
到 下 一 民 . 例 4. 1 可 用 来 解释 这 种 现象 . 在 例 4. 1 中 ,其 他 位 不 变 
的 情况 下 ,任何 一 位 的 1 永远 比 同 位 的 0 要 好 ,于 是 1 优 超 0. 优 
超 法 的 运算 如 下 示例 


父 代 A 1101001 
父 代 台 o000010 一 一 子 代 1101011 
Goldberg 和 Smith[ ”将 这 种 方法 成 功 地 应 用 在 背包 问题 中 . 
以 上 方法 都 是 双亲 遗传 法 ,还 有 一 -大 类 为 单亲 遗传 法 . 
《6) 单亲 站 传 法 
单亲 得 传 的 一 个 特点 是 只 有 一 个 父 代 ,下 一 我 的 产生 通过 单 
亲自 身 的 基因 变化 , 如 选 定 一 个 单亲 ,随机 选 两 个 基因 位 置 ,将 两 
个 位 置 的 元 素 进行 交换 , 见 下 面 的 交换 : 


交 搞 位 交换 位 


| 上】 一 一 | 1 
父 伐 1101001 子 代 1001011 
也 可 以 选 定 两 个 交配 位 ,通过 交配 位 之 内 的 基因 人 役 排 得 到 子 
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代 . 如 


变 配 位 变 配 位 
| | ”一 一 > | | 
父 代 111019181 子 找 ”110101101 


单亲 遗传 法 使 染色 体 中 的 基因 取信 受到 限制 ,如 上 例 中 的 1 
的 个 数 为 4 个 ,0 的 个 数 为 3 个 ,因此 限制 挤 索 的 范围 . 在 使 用 单 
亲 遗 传 时 应 加 大 变 蜡 的 概率 .单亲 咀 传 法 可 以 间 双 亲 和 但 传 法 结合 
使 用 . 

以 上 讨论 都 局限 于 常规 码 ,我 们 在 例 4.3 和 例 4.7 中 讨论 了 
非常 规 码 ,非常 规 码 对 上 面 讨论 的 一 些 交 配方 式 失效 ,如 对 常规 双 
亲 帮 子 . 变 化 交配 法 .多 交配 位 .单子 法 和 优 超 法 等 失效 .于 是 ,有 
必要 讨论 非常 规 码 的 交配 问题 . 

(7) 非常 规 码 的 交配 方法 

此 处 只 讨论 站 个 整数 11,2,… ,wn} 排 列 的 非常 规 码 ,这 种 编码 
形式 经 常 应 用 在 TSP 和 欧 东 机 器 排序 等 问题 中 . -- 些 优化 问题 可 
能 有 其 他 的 非常 规 编码 形式 ,它们 的 交配 方法 可 根据 本 节 介 绍 的 
思想 构造 ， 

法 1; 非常 规 码 的 常规 交配 法 , 随机 选 -- 个 交配 位 ,两 个 后 伐 
交配 位 之 前 的 基因 分 别 继承 双亲 的 交配 位 之 前 基因 ,交配 位 之 后 
的 基因 分 别 按 蜡 方 基因 顺序 选取 不 重 基因 . 如 

交配 位 交配 位 
| | 
公民 A 21314567 子 代 和 213|4567 
父 代 PB 431|2567 子 代 B 431|2567 
于 代 A 是 从 父 代 A 的 交配 位 前 取 213, 然 后 以 父 代 B4312567 依 
顺序 选 不 重 基因 4,5,6,7. 
法 2: 不 变 位 法 . 短 机 产生 一 个 同 染 色 体 有 相等 维 数 的 不 变 位 
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向 量 , 每 一 分 量 随 机 产生 或 1, 其 中 1 表示 不 变 ,0 表示 变 , 变化 
的 方式 按 法 1 姓 理 . 如 随机 产生 这 样 的 - -个 向 量 
1001100 
如 交配 的 变化 情况 为 
不 变 位 
父 代入 2134657 子 代 A 2314657 
父 代 BB 4312567 子 代 B 4132567 


其 中 ,于 代 A 的 形成 首先 将 父 代 A 的 第 1,4,5 位 不 变 , 第 2,3 位 
的 变化 按 法 1 从 父 代 卫 按 顺序 取 与 不 变 位 不 同 的 基因 3,1;4,5 位 
不 变 使 得 6,7 位 分 别 选 5,7. 同样 规则 得 子 代 了 . 

在 非常 规 码 的 交配 中 ,变异 也 不 能 同 常规 码 一 样 只 是 0 或 1 
的 变化 ,这 样 的 方法 在 非常 规 码 中 不 可 再 用 . 由 于 遗传 算法 是 生物 
进化 的 模拟 ,因此 ,需要 变异 这 一 功能 . 可 以 采用 位 置 交换 的 方法 
实现 这 一 功能 . 其 基本 思想 是 例 1. 8TSP 的 2-opt 法 . 

3. 种 群 的 选取 和 交配 后 群体 的 确定 

称 群 由 道 应 函数 所 对 应 的 概率 分 布 以 轮 盘 赌 形式 确定 .在 实 
奈 模 拟 中 所 关心 的 模板 可 能 出 现实 际 选取 数 与 引 理 4. 1 的 理论 期 
望 数 的 偏差 . 此 时 中 传 算法 的 整体 收 敏 性 将 引起 偏差 ,于 是 可 用 监 
控 的 方法 使 得 种 群 中 所 关心 的 结构 在 给 定 的 范围 内 . 

在 种 群 的 选取 中 ,如 用 常用 的 交配 方法 ;种群 中 随机 选取 的 染 
色 体 数 同 群体 pop (1) 的 维 数 相等 . 假设 群体 pop (1) 维 数 为 w= 
姑 , 则 以 概率 分 布 随机 选取 的 mr 个 染色 体 随 要 结 成 对 ,在 交配 
概率 为 1 的 前 提 下 生成 mx 个 后 代 . 

在 进化 的 过 程 中 ,有 多 个 因素 与 群体 的 规模 相关 . 第 一 是 种 群 
new-poptz 十 1) 的 选取 ,可 以 选择 小 于 pop (6 规模 的 种 群 , 这样 才 
能 体现 选择 最 优 的 染色 体 组 成 种 群 . 第 二 是 交配 过 程 . 交配 械 率 不 
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- -证 为 1, 有 些 父 代 就 不 一 定 有 和子 代 . 在 末 用 其 他 的 交配 方式 时 ， 
如 双亲 单子 这 样 的 方式 .就 无 法 保证 有 xm 个 后 代 . 于 是 ,产生 用 多 
少 个 新 的 冻 色 体 去 蔡 代 旧 群 体 中 的 染色 体 的 问题 . 
即使 以 概率 1 交配 产生 mm 个 后 代 , 则 用 新 产生 的 mx 个 后 化 
( 变 寞 后 ) 兰 代 原 有 的 x 个 父 代 会 产生 无 法 将 最 优 解 保持 到 下 一 
代 . 如 公 代 染色 体 为 
(0000), 《1010), (1001), (1101), 
其 中 假设 L0000}) 为 最 优 解 , 则 任何 两 个 染色 体 结 合 痢 无 法 保证 最 
优 解 遗传 到 下 一 代 . 基于 上 面 的 原因 ,种 群 选取 的 染色 体 个 数 可 以 
不 同 十 群体 的 个 数 ;其 次 是 交配 后 的 子 代 不 一 定 要 求全 部 苦 换 旧 
群体 . 由 此 产生 一 个 兰 换 问题 . 针对 这 个 问题 ,常见 的 方法 是 ， 
* 种 群 的 选取 ,交配 和 变异 用 常规 的 方法 ;只 是 在 mutpop 
(tT 二 17 中选 最 优 的 工 个 染色 体 替换 pop (2) 中 最 差 的 工 个 
染色 体 ， 
”选择 种 群 中 染色 体 的 个 数 只 是 群体 的 一 个 比 便 ,此 时 采 开 
常规 的 交配 方法 ,交配 概率 为 1, 交配 后 的 子 代 同 pop 人) 
中 的 桨 色 体 通过 筛选 组 成 pop (十 1); 
”采用 一 些 常用 的 交配 方法 ;用 交配 、 变 异 后 的 子 代 同 pop 
{疏通 过 筛选 组 成 popC 十 17. 记 昔 换 率 为 
GG) =1— PP 门 pep 人 十 DD (4. 21) 


蔡 换 率 是 蔡 接 癌 题 的 一 个 重要 参数 . G 一 0 时 为 零 替 找 ， 
区 pop( 妃 一 pop 人 十 1) ,遗传 一 代 后 没有 一 个 如 色 体 变 
化 . 无 任何 进展 的 进化 等 子 计算 的 重复 . 因此 ,我 们 期 望 
替换 率 G>0. 100% (G= 二 1}) 的 苦 换 使 得 新 群体 得 群体 
的 染色 体 相 重 率 降 低 - 直观 看 计算 效果 应 该 好 , 但 有 可 
能 使 得 当前 最 优 解 无 法 遗传 下 去 . 由 4. 3 节 的 理论 ,我 
们 希望 当前 最 优 解 保存 下 去 . 

低 替换 率 产 生 过 多 地 重复 计算 适应 丙 数 秆 ,使 得 搜索 的 范围 
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扩展 较 香 . 但 优点 是 使 某 些 关心 的 滥 色 体 得 以 保留 . Whitley"] 通 
过 计算 模拟 说 明 蔡 换 率 的 天 小 与 评价 函数 的 关系 ,100 上 % 替 换 率 并 
不 是 最 好 的 . 

在 群体 或 种 群 中 有 时 会 出 现 相同 的 染色 体 .相同 的 染色 体 造 
成 适 庶 函 数 的 重复 计算 ,但 同时 也 是 适应 能 力 的 -- 种 表现 ,有 扩大 
下 一 伐 相同 染色 体 的 生存 下 能 性 . 对 这 个 问题 不 必 作 太 多 的 处 理 . 

100 交 的 替换 会 出 现 当 前 最 优 解 的 遗失 ,一 种 保持 的 策略 是 使 
上 一 代 的 当前 最 优 解 强行 遗传 到 下 一 代 . 

本 节 主 要 介绍 遗传 算法 中 应 注意 的 问题 和 各 种 处 理 方法 . 我 
们 没有 讨论 它们 之 间 的 关系 和 实际 应 用 的 最 佳 搭配 . 我 们 坚持 “无 
免费 午餐 ”的 观点 ,参考 文献 [9]. 因此 用 遗传 算法 求解 优化 问题 
时 ,应 尽 可 能 地 了 解 问题 的 本 身 结 构 , 针 对 问题 给 出 算法 设计 , 决 
对 不 能 无 自 的 的 模拟 计算 . 


4.5 遗传 模拟 退火 算法 


第 4.1 节 中 提 到 遗传 算法 的 兼容 性 ,本 节 简 单 介 绍 模拟 退火 
算法 同 壮 传 算法 的 一 种 结合 算法 . 在 模拟 退火 时 齐 算法 中 ,每 两 个 
温度 之 间 的 状态 点 是 无 美的 . 从 理论 上 来 看 ,任何 一 个 温度 马 氏 链 
都 逐渐 达到 平稳 分 布 , 即 从 一 个 状态 到 达 另 一 个 状态 随 着 迭代 的 
步 数 增加 淅 装 不 依赖 起 点 状态 且 在 每 一 个 状态 的 概率 服从 平稳 分 
布 . 遗传 算法 强调 的 是 两 代 之 间 的 进化 关系 ,但 其 交配 有 可 能 使 最 
好 解 遗 失 . 结合 这 两 个 算法 的 特点 , 物 成 下 面 的 遗传 模拟 退火 
算法 . 


过 和 传 模 报 退火 算法 
STEP1 给 定 群 体 规 模 maxbop, :一 0; 初始 温度 大 :==1o, 群 体 
Pop (Ck); 
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STEP2 


STEP3 


STEP4 


STEP5 


若 满足 停止 规则 ,和 迟 止 计 算 ; 和 否则 ,在 群体 pop (中 每 一 
个 染色 体 7?E pop(#) 的 邻 域 中 随机 选 -- 状 态 7€EN (CD ，, 按 
模 氛 退火 中 的 接受 概率 

A (Ct.) 一 min{ Lexp| 本 HD | 上 


接受 或 拒绝 /其 中 jiG)? 为 状态 的 缘 标 值 ; 这 一 阶段 共 
需 maxpop 次 移民 选 出 新 群体 newpop1( 十 1): 
在 new-popl( 十 1) 中 计算 适应 了 淆 数 

人 一 了 

f(ti) = exp{ 一 /二 1 |， 

其 中 ,fw 是 newpoeple 十 1》 中 的 最 小 值 * 由 适应 栈 数 次 
定 的 禄 率 分 布 从 newpopi 导 十 1) 中 随 殷 选 maxpop 个 染 
色 性 形成 种 群 newpop2 (8 十 1); 
按 进 传 算法 的 常规 方法 进行 交配 得 到 crosspop (十 1)s 
再 变异 得 到 mutpop (十 1)， 
trl pop) 一 mutpop C&R》， 返 回 
STEP2, 


《4. 22) 


(4. 23) 


址 传 模拟 退火 算法 中 ,STEP2 的 群体 选择 较 遗 传 算法 的 选择 
范围 要 大 ,用 2，N (i) 取 代 遗 传 算法 中 的 pop (4), 但 它 并 不 是 简 
单 地 随机 选取 ,而 是 采用 (4, 22), 这 里 具有 模拟 退火 的 第 一 个 特 
征 . 适 应 函数 的 加 速 特性 已 在 4.4.4 节 讨论 ,(4.23) 是 一 个 非常 好 
的 加 速 适 应 函数 , 当 湿度 较 高 时 加 速 性 不 明显 , 当 温度 较 低 时 加 速 
性 非常 明显 . 这 正 是 我 们 需要 的 ,也 是 模拟 过 火 的 第 二 个 特征 . 其 
他 计算 步骤 间 亡 传 算法 . 
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4.6 应 用 案例 一 一 生产 批量 问题 


本 节 介 绍 渴 传 算法 在 生产 批量 问题 中 的 应 用 . 生产 批量 问题 
是 企业 生产 和 管理 中 一 个 常见 的 问题 . 主要 考虑 最 优 的 生产 批 星 
使 得 生产 费用 .生产 准备 费用 和 库存 费用 综合 指标 最 小 . 按 传 统 将 
企业 内 部 的 生产 管理 按 图 4.3 分 为 3 个 层次 .第 1 个 层次 为 企业 
的 发 展 战略 和 长 期 规划 ,是 一 个 企业 为 了 生存 和 参加 市 场 竞争 对 
企业 发 展 所 规划 的 一 个 方向 . 这 个 层次 蚌 战 略 性 的 . 第 2 个 层次 是 
企业 中 、 短 期 计划 . 主要 体现 为 根据 人 
力 . 物 力 的 能 力 对 产品 需求 ,包括 订 
货 . 计 划 库 存 等 ,第 3 个 层次 是 生产 计 
划 的 具体 实现 是 对 已 安排 的 生产 计划 企业 中 短期 生产 
有 具体 落实 到 人 和 机 器 . 最 下 一 层 的 具 计划 (分 厂 或 车 间 屋 ) 
体 安排 可 能 发 瑰 能 力 的 不 足 , 此 时 ;可 
采取 一 些 补救 的 方法 ,如 人 力 不 是 可 生产 计划 的 其 体 实现 


企业 的 发 展 战 略 ， 
长 期 规划 (公司 局) 


以 炽 班 加 点 弥补 ,在 最 下 层 内 部 解决 ; ( 秆 问 或 班组 局) 
也 可 以 反馈 到 上 层 对 生产 计划 甚至 发 四 
展 规划 进行 更 政 . 


物料 需求 计划 (MRP,material requirement planning) 是 在 不 
考虑 能 力 约 束 的 前 提 下 ,根据 产品 需求 按 生 产 的 工艺 流程 BOM 
《bill of materials) 进 行 物料 的 计划 管理 . 它 是 利用 主 生产 计划 (由 
第 2 层 决 定 ) 来 决定 需要 哪些 材料 及 需要 哪些 零 部 件 来 完成 生产 
计划 .MRPII(manufacturing resources planning) 是 在 MRP 的 基 
础 上 于 70 年 代 发 展 起 来 的 , 它 主要 在 考虑 了 市 场 的 需求 ,企业 的 
生产 能 力 和 对 用 户 的 服务 水 平等 诸多 因素 的 前 提 下 来 安排 企业 的 
生产 , 

在 MRPII 中 ,第 2 层 的 主要 问题 之 一 是 生产 计划 中 的 约束 批 
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其 问题 "在 满足 能 力 约束 和 和 生产 平衡 的 条 件 下 .能 力 约束 批量 
疝 题 是 考虑 生产 费用 .库存 费用 和 生产 准备 (set-up]) 费 用 综合 目 
标的 优化 问题 . 它 的 数学 模型 为 

mincost 一 min >) > {SY 十 era 十 下 了 (C4. 24) 


1 一 ] 4 一 1 


3， t, Lie 十 3 一 下 一 地 十 > Tit 
1E 8 ‘4d, 25) 


I= lo ns 上 上 一] 2 7. 


3 {eT 十 A Ye) Chrs 
《4- 26) 
R= 1 Rk 一 12 


1， za OO 
1 to 二] nt ,2 
《4. 27) 
Too=Ir=0, 0, rE0, = 1,2 nf = 1,2,.,T, 
(4. 28) 
其 中 
下 ; 计划 时 段 , 如 -年 的 12 个 月 ,一 周 5 和 天 等 ;x: 产品 的 品种 
数 ;x,: 为 产品 在 时 段 + 的 生产 批量 ,是 决策 变量 ;1 为 产品 ; 
在 时 有 段 z 的 库存 量 ,是 决策 变 基 ;qd, 为 时 段 + 时 产品 i 的 需求 量 ;s 
为 生产 产品 1 时 的 生产 准备 费用 ,这 一 费用 是 由 于 机 闫 更 挽 加 工 
产品 而 一 次 性 发 生 的 ;cj 为 单位 产品 2 的 生产 费用 ;为 单位 产品 
的 库存 费用 ;0iw 为 1 时段 单位 产品 i 占用 资源 请 的 量 ;.44 为 1 时 慨 
产品 7 的 生产 准备 占用 资源 的 量 ;cw 为 :时段 资源 的 可 提供 
量 ;ri 为 j 产 品 的 生产 过 程 中 对 7 产品 的 需求 量 ,如 一 个 部 件 直接 
需要 若干 个 零件 , 称 ;为 i 的 直接 后 继 ;SG) 为 所 有 :的 直接 后 继 
集合 . 
在 上 面 的 能 力 约束 批量 模型 中 ,生产 准备 费用 ,生产 费用 和 和 岸 


第 4 章 遗传 算法 185 


存 费 用 只 与 产品 有 关 而 与 时 段 无 闫 ,可 以 更 为 复杂 地 考虑 与 时 段 
有 关 的 模型 . 从 下 面 的 介绍 中 可 以 看 出 ,费用 与 时 段 有 关 模 型 的 难 
度 更 大 ， 

(4. 24) 为 目标 函数 , 它 要 求 牛 产 准备 .库存 .生产 和 扣 班 费用 
的 综合 最 小 .方程 (4.25) 是 物流 的 平衡 方程 ,当前 时 段 生 产 的 量 和 
上 时 绒 的 库存 量 应 该 满足 外 部 和 内 部 后 继 产 品 的 需求 及 本 时 引 库 
存 的 需要 . (4. 26? 是 能 力 约 东方 程 . (4. 27) 标 记 产 品 z 在 时 段 : 是 
否 生 产 ,1 表示 生产 . (4, 28) 表 示 生 产 批量 不 是 负数 和 不 允许 有 
从 货 . 

生产 中 常用 的 生产 结构 有 : 串联 型 (加 4. 4a). 组 装 型 5 图 
4. 4b) 和 一 般 型 (图 4. 4c). 


fby》 te) 


图 4.4 ta) 捉 联 型 由) 组装 型 ”(c) 一 般 型 


一 个 产品 按 以 下 工序 进行 生产 ; 原材料 一 一 成 型 一 一 精 加 
工 , 是 一 个 典型 的 串联 型 生产 . 组 装 型 生产 以 汽车 制造 .飞机 制造 
业 为 典型 ,是 由 零件 .部 件 到 成 品 的 一 个 生产 过 程 . 一 般 型 生产 包 
会 前 两 种 并 比 它们 更 为 广泛 .在 多 数 企业 生产 中 都 会 遇 浊 这 样 的 
情况 ,比较 典型 的 是 化 工 企业 ;投入 几 种 原材料 会 产生 出 几 种 产 
间 . 如 炼油 过 程 ,从 原油 变 成 汽油 ,柴油 和 煤油 等 . 
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产品 的 生产 结 梅 主要 体现 在 4. 25) 的 内 部 需求 关系 x,. 约 东 
批 基 问题 中 , 当 约 束 (4.26) 的 A 不 全 为 零 ,求解 (4. 25) 到 (4. 28) 
的 一 个 可 行 解 是 NP-Complete-'1 去掉 约 上 (4. ?6) 的 多 层 无 约束 
指 量 问题 仍然 是 NP-hard032. 于是, 我们 尝试 用 遗传 算法 求解 . 

1. 编码 

垦 到 的 第 -个 问题 是 编码 . 由 于 约束 批量 问题 是 一 个 混合 整 
数 规划 问题 ,决策 变 基 ,x 为 连续 变量 ,YY 为 0-1 整数 变量 .于 是 
需要 研究 变量 之 癌 的 关系 和 性 质 . 首先 研究 的 是 无 能 力 约 束 指 量 
问题 : 去 看 能 妨 约 晃 (4. 26). 

定理 4.5 无 能 力 约 束 批 量 问 题 (4. 247、(4, 25)、(4. 27) 和 
《4. 28) 有 满足 下 面条 件 的 最 优 解 

Xu 1 = 0. (4. 29) 

证 明 按 产 品 生产 的 阶段 性 , 直 (4.25) 和 (4.28), 产 品 i 的 生 

产量 为 一 个 常数 , 即 有 


人 了 
> = > CF | 十 Ta Ta) = > (a 十 >) rr) 
:=| 


— Dat Da 2 
如 在 生产 的 最 最 后 一 人 本 1 为 最 终 产 品 , 则 
> = 二 ar 


在 倒数 第 二 个 阶段 ,假设 产品 标号 为 i 二 2 且 为 第 一 个 产品 提供 中 
间 产 品 , 则 


了 了 了 于 
Dx 一 >, (dy rat) = Dd 二 ral Sa. 
t=1 t 一 1 t=1 t=1 


再 由 {4. 24) 知 三 项 费用 中 的 生产 费用 之 er = 26 22ze 为 党 
数 . 因此 ,只 需 讨论 生产 准备 费用 和 库存 费用 . 
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假设 无 能 力 约 束 批量 问题 有 一 个 最 优 解 满足 zez- >>0, 表 示 
在 5-] 时 县 末 有 库存 而 第 上 时 自述 要 生产 , 则 可 以 重新 安排 生 
产 ; 生 + 时 眉 之 前 新 的 批 其 zs ”满足 

Ta’ = A els DE 一 Ya, — 1. 

在 之 后 保持 原来 批量 不 变 . 新 的 批量 满足 (4. 25)、(4. 27)} 和 (C4. 28) 
且 库 存 费 用 不 增 . 生 产 准 备 费 不 增 和 生产 费 不 变 , 总 体 目 标 值 不 
增 , 但 此 时 za 天 -一 0. 由 此 证 明定 理 成 立 . OD 

由 定理 4.4, 产 品 的 生产 满足 : 

(1) 当 了 as 一 0 时 ra 一 0; 

2) 当 Ya lm1, 1 RT 有 8 一 0 这 [ts 时 ,期 


Tu = Pd 2D) rrn). (4. 30) 


上 曾 的 讨论 埠 出 0-1 变量 于 : 同 生 产 批 量 的 关系 .根据 了, 任何 
一 个 时 段 要 么 不 生产 ,要 么 按 (4. 30) 生 产 足 以 满足 下 一 个 生产 准 
备 时 段 前 的 所 有 产品 需求 . 对 无 能 力 约 束 批量 问题 ,可 以 用 了 ,对 
应 的 0-1 编 名 采用 遗传 算法 求解 . 对 有 能 力 约 束 的 批量 问题 如 何 
采用 上 面 已 经 得 到 的 结果 ? 

处 理 的 方法 之 一 是 针对 能 力 可 以 通过 其 他 方式 ,如 加 班 或 租 
展 等 . 此 时 可 以 去 掉 能 力 约束 (4.26), 用 一 个 第 1 时段 第 种 资源 
的 加班 量 Os 去 松弛 (4. 26) 的 约束 ,但 在 目标 (4. 24) 中 体现 . 


+ 了 了 
mincost= min 3. 饼 {siY ner heT} 二 > 2 PO, (4.24') 
其 中 
OO, 一 max > (apeTie 十 AmY) 一 cur0} + 
[ 


中 二 1],2,.…,k; ft 一 12 
A 为 增加 单位 资源 的 费用 .这样 的 处 理 方 法 有 其 应 用 背景 ,一 些 
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企业 经 常 在 能 力 不 足 的 情况 下 通过 租 异 或 是 加 班 加 点 扩大 生产 能 
力 . 由 干 增加 Du ,能 力 约 束 已 转移 到 目标 函数 中 考虑 ,于 是 元 能 力 
约束 批量 问题 的 编 砸 可 以 恋 续 使 用 . 

舅 -种 处 理 广 法 是 针对 能 力 不 可 改变 而 设计 . 它 还 是 利用 无 
能 力 约 束 批 量 问 题 的 结果 ,对 给 定 的 0-1 编码 了, 按 (1) 和 (2) 进 
行 批量 生产 ,可 能 产 牛 能 力 不 满 足 要 求 ,此 时 用 批量 模型 中 经 常 使 
用 的 “移动 "启发 式 方法 451. 移动 启发 式 方法 的 基本 思想 是 , 首先 
按 517 和 《27 确定 每 个 时 段 的 生产 批量 ,第 二 ,从 最 后 一 个 时 段 字 
到 第 - -个 时 段 逆 顺序 检查 是 天 满足 能 力 芍 束 . 满足 的 东 的 条 件 下 
继续 向 前 检查 .不 满足 能 力 约 束 的 条 件 下 ,将 该 时 段 的 加 工 多 余部 
分 前 移 . 当然 这 里 夯 存 在 前 移 到 哪 一 个 时 段 的 技术 问题 , 如 考 虚 将 
超出 能 力 的 生产 其 按 最 近 时 段 有 能 力 空 闲 前 移 , 第 三 ,为 目标 值 的 
计算 . 若 将 所 有 不 满足 能 力 约束 的 时 段 都 前 移 至 可 行 , 此 时 虽说 按 
《4 27) 二 {Yi|i 一 1,2,0 Rt 二 1,2,…, 了 } 的 生产 批量 同 移动 后 
的 生产 批量 不 同 , 但 我 们 还 是 将 移动 后 的 可 行 解 对 应 原 有 的 编码 
{P= 了 2 让 二 1,2 ,个 }) ;由 此 按 移动 后 的 解 求 出 自 标 秆 
作为 全 本 2 一 1 2 7 的 一 个 评价 值 , 记 为 vl 了 )， 
若 无 法 将 所 有 不 满足 能 力 约 束 的 时 段 都 前 移 至 可 行 ,此 时 认为 无 
可 行 解 ,目标 值 定义 为 一 个 充分 大 的 数 . 

2， 适 应 函数 

由 于 有 能 力 药 东 批 基 问 题 的 目标 是 极 小 目标 通 数 ,适应 函 教 
与 群体 各 自 标 值 的 美 系 是 : 给 定 一 个 群体 { 了 1 ，,Y2 ,… ,YP )、 常 
数 >0 和 一 个 0-1 码 F 了 == {Yi | 一 1,2,- 一 ynjf 二 128,…, 全 ) ,适应 
欧 数 为 

fitness(Y ) = max oY) 一 v(F) 十 sy 《4. 31) 

其 中 ,maxpop 表示 群体 的 维 数 在 可 以 加 班 模型 和 不 可 加 班 模型 
中 w( 了 分 别 对 应 各 自 的 目标 值 和 评价 秆 . (4. 31) 中 的 e 越 小 ,; 具 
有 最 大 是 标 屠 ( 评 价值 ;的 状态 被 选取 为 种 群 的 概率 越 小 . 
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3. 实现 的 参数 选 职 及 计算 结果 
出 荆 面 的 讨论 ,每 -个 解 可 以 编码 为 
Ye = (YH, Yh, Yi, YE YH, 
YE, YE YE ,YEN), 
了 一 12 Mmaxpop; & = 1,2." ,maxgen, 
其 中 maxgen 为 一 个 给 定 整 数 ,表示 算法 迁居 的 代数 . 在 解 的 编码 
中 为 避免 不 可 行 解 ,假设 
da > Or YE = YE! Oo = Yh! = 1]. 
批量 由 (1 和 (2? 确 定 .在 能 力 不 可 以 加 班 时 ,再 用 “移动 ?的 方法 修 
正 笠 量 . 
报 据 (4, 31)? 计 算 适 应 函数 ,用 概率 分 布 
fitness{¥s:’Yy ， 
SY fitness(ye") 
选 种 群 . 种 群 的 规模 同 群体 的 规模 相同 . 
采用 双亲 双 于 交配 法 ,交配 概率 疡 一 0. 6. 采用 交配 后 代 直 接 
替代 双亲 ,而 没有 交配 的 双 杂 直接 遗传 到 下 一 代 , 也 就 是 交配 后 群 
体 规模 同 旧 群体 规模 相同 ,覆盖 率 为 60%. 再 以 bm 一 0. 033 的 概 
率 变 蜡 . 
对 ”一 7. 了 一 6, 玉 一 ] 用 十 组 随机 模拟 数据 比较 模拟 退火 、 禁 
忌 搜索 和 遗传 算法 在 有 能 力 约 束 、 无 加班 和 组 装 型 生产 模型 的 应 
用 效果 ,发现 计 算 时 间 和 结果 相差 不 是 很 大 . 在 可 加班. 一 般 型 生 
产 模型 中 ,对 一 个 NN 一 21, 本 ==6, 下 二 3 的 实际 问题 进行 求解 . 在 主 
频 为 66Hz 的 PC-486 上 用 近 十 分 钟 得 到 满意 解 . 


fitness CF) 一 


练 习 题 


1. 方 阵 4 主 对 角 占 优 的 定义 为 : 
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。 
lail 次 > el， 


且 其 中 至 少 有 个 不 等 式 成 立 , 共 中 上 x | 表示 x 的 模 , 证明; 主 
于 角 阵 点 优 的 方 阵 可 道 . 
2. 若 4 为 随机 竹 阵 : 则 4 除 有 一 个 值 为 1 的 特征 根 , 其 他 特 
征 值 的 模 均 小 于 1. 当 4 为 全 正 的 随机 矩阵 时 ,特征 值 1 的 代数 重 
数 是 1. 
A 1 0 
0 A 1 «+ 0 
3， 对 级 当 和 矩阵 4= |0 0 4 0|, 当 1 <1 时 ,证 


机 : lim 人 一 0 
4, 车 了 为 全 正 随 扫 矩阵 , 则 P: 收 伍 到 -个 全 正 稳定 随机 阵 
P™* = (1 1 Pp pas pa), 
其 中 
Cpis pas rs PIP = Cpis pas' spa) . 
5. 车 4 为 本 原 随 本 矩阵 , 厅 有 FP 收 敏 到 一 个 全 正 稳定 随 
机 阵 
PY = (1 ,1) Cp pas s pe) 
其 中 
pis par sb)P = Cpirspasrrrs ps) 
6. 车 PP 为 时 齐 蕊 氏 链 的 一 步 转移 盾 阵 ,证 明 ; & 步 转移 矩阵 
为 [ p49) 一 下 
7. 证 明定 理 4. 4. 
8.， 对 感 兴趣 的 组 合 优化 问题 ,比较 禁忌 搜索 .模拟 退火 和 和 踪 
传 算法 的 计算 效果 ， 


第 
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第 $ 章 
人 工 神 经 网 络 


神经 网 络 是 大 脑 的 一 个 组 成 部 分 , 神经 网 络 的 研究 可 以 追 半 
到 19 世纪 . Jamesti 在 1890 的 《心理 学 {Psychology (Briefer 
Course))$ 一 书 中 ,这 样 描述 神经 网 络 的 基本 原理 : 

大 脑 皮 层 每 一 点 的 活力 是 由 其 他 点 势能 释放 的 综合 效能 产 
生 . 这 一 势能 同 下 面 的 因素 有 关 ;(1) 相关 其 他 点 的 兴奋 次 数 ，; 
(2) 兴奋 的 强度 ;(3) 与 其 不 相连 的 其 他 点 所 接受 的 能 基 . 

季 的 这 一 原理 一 直 沿 用 至 今 . 神经 网 络 的 研究 分 为 两 派 .一 派 
主要 包括 生物 学 家 .物理 学 家 和 和 心理 学 家 . 他 们 研究 的 主要 目的 是 
给 出 夫 议 活动 的 精 约 权 型 和 描述 . 男 一 证 主要 包括 工程 技术 人 员 . 
他 们 关心 的 是 怎样 利用 神经 网 络 的 基本 原理 ,来 构造 解决 实际 问 
题 的 算法 ,使 得 这 些 算法 具有 有 趣 和 和 有效 的 计算 能 力 . 本 章 内 容 属 
于 后 者 . 我 们 称 后 者 为 神经 网 络 的 工程 应 用 研究 ,或 称 为 人 工 神 经 
网 络 . 

神经 网 络 的 基本 原理 是 构造 人 人工 神 经 网 络 模 型 的 一 个 基本 依 
据 . 我 们 在 后 面 的 各 节 中 所 介绍 的 模型 就 是 基于 这 样 的 原理 . 本章 
介绍 人 人工 神经 网 络 (artificial neural netwerks) 的 两 类 主要 模型 : 
前 向 神经 网 络 和 反馈 神经 网 络 , 主要 内 容 包 括 模型 、 基 本 原理 和 
应 用 . 

人 工 神经 网 络 的 早期 工作 可 以 追 朔 到 1943 年 MeCutloch 和 
Pitts“l 建 立 的 第 一 个 模型 ,后 被 扩展 为 *“ 认 知 Cperceptron)” 模 型 . 
认 知 模型 的 一 个 功 葡 可 以 用 来 解决 简单 的 分 类 问题 . 1969 年 
Minsky 和 Papertrl 在 4 认 知 论 (Percepttons)y 一 大 指出 ; 认 知 模型 
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无 法 解 交 最 为 经 典 的 “ 异 或 (XOR 一 一 exclusive-or)” 问 题 .这 个 结 
论 使 得 人 人工 神经 网 络 陷 人 人 一 次 危机 . 产生 这 次 危机 的 原因 可 以 归 
绪 为 以 下 主要 原因 ;(1) 人 们 对 人 工 神 经 网 络 的 认识 不 足 和 认识 
上 的 错误 ,(2) 人 们 过 高 的 期 望 和 夸大 ,(3) 宣传 中 的 错误 引导 . 
实际 上 ,Minsky 和 Papert 主要 研究 的 是 单 隐 舍 层 的 认 知 网 络 模 
型 ,他们 让 明了 简单 的 线性 感知 功能 是 有 限 的 . 这 个 结论 不 应 该 对 
人 工 神 经 网 络 进 行 全 面 的 香 定 . 

20 世纪 80 年 化 ,Hopfieldt** 引 将 人工 神 经 网 络 成 功 地 应 用 在 
组 合 优 化 问题 ,McClelland 和 Rumelhartr 构 造 的 多 层 反馈 学 习 
算法 成 功 地 解 快 了 单 隐 含 层 认 知 网 络 的 “* 蜡 或 * 问 题 及 其 他 的 识别 
问题 . 他 们 的 突破 使 得 人 工 神经 网 络 威 为 新 的 研究 热点 . 

对 人 工 神 经 网 络 的 总 体 评价 可 以 归 为 以 下 若干 方面 : 

* 提供 信息 处 理 的 一 种 新 的 手段 . 主要 归功 于 人 工 神经 网 络 
的 自 适 应 性 ,学 习 能 力 和 大 规模 的 平行 计算 能 力 ; 

”发 展 已 较为 成 熟 . 成 熟 的 三 个 方面 是 :人 1) 模型 的 建立 和 
数学 理论 的 支持 ,(2) 计算 工具 的 发 展 ,(3) 神经 生物 学 的 
发 展 和 对 大 脑 的 认识 ; 

* 人 工 神经 网 络 发 展 仍 然 受 到 限制 , 尽管 近 20 年 计算 机 发 
展 迅速 ,同时 有 大 量 的 数学 理论 支持 和 发 展 ,但 计算 机 设 
将 在 储存 .速度 和 用 户 柔 性 方面 的 非 适应 能 万 ,限制 了 人 
工 神 经 网 络 的 发 展 ; 

”有 成 功 应 用 的 案例 . 人 工 神 经 网 络 在 视觉 .语言 ,信和 号 处 理 
和 机 器 人 等 方面 有 成 功 应 用 的 示例 . 虽说 应 用 的 范围 有 
限 , 但 其 应 用 的 问题 及 效果 给 人 们 的 印象 深刻 . 

人 工 神经 网 络 的 模型 要 求 发 展 神经 网 络 型 计算 系统 来 替代 传 
统 的 计算 机 . 这 种 计算 系统 不 再 是 传统 计算 机 顺序 执行 命令 的 运 
行 过 程 , 而 是 希望 对 输入 进行 平行 处 理 ; 这 种 计算 系统 不 再 是 只 世 
会 一 个 或 几 个 复杂 的 计算 设备 ,而 是 由 众多 简单 设备 有 机 组 成 在 
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` 起 ;这 种 计算 系统 处 理 信 息 时 ,不 再 是 将 信息 存储 在 一 个 精确 的 
位 置 上 上 ,而 是 通过 神经 元 的 内 部 相连 关系 达到 信息 储存 的 功能 . 
在 目前 的 条 件 下 ,还 只 能 依赖 传统 的 计算 机 来 模 氢 人 工 神经 
网 络 的 这 些 功 能 . 数值 计算 和 分 析 是 模拟 中 的 一 个 重要 部 分 . 只 有 
当 人 工 神经 网 络 硬件 系统 得 到 发 展 ,才能 使 目前 的 人 工 神经 网 络 
更 快 . 更 有 效 地 解决 更 大 的 实际 问题 . 


5.1 人 工 神 经 岗 络 的 基本 概念 


人 工 神 经 网 络 模型 是 基于 生物 学 中 的 神经 网 络 的 基本 原理 而 
建立 的 . 图 5.1 是 生物 学 中 神经 网 络 的 简 图 ， 


轴 痰 


图 5.1 生物 学 中 神经 网 络 简 图 


大 脑 的 一 个 重要 成 分 是 神经 网 络 . 神经 网 络 由 相互 关联 的 神 
经 元 组成. 每 一 个 神经 元 由 内 核 Cbody)、 轴 突 (axon) 和 多 个 唱 枝 
《dendrite ) 组 成 . 唱 枝 形成 一 个 非常 精密 的 “ 毛 剧 ”环绕 在 内 核 周 
围 . 轴 突 可 以 想象 为 一 根 叉 长 又 网 的 管道 ,其 终点 分 为 众多 细小 分 
支 , 将 内 核 的 信息 传递 给 其 他 内 核 的 量 枝 . 这 些 细小 分 支 的 头 , 即 
那些 又 长 又 出 管道 的 终点 , 称 为 突 触 (synapse) ,它们 的 主要 巧 能 
是 接触 其 他 内 核 的 晶 枝 . 

一 个 神经 元 通过 蝇 枝 接收 到 一 定 的 信息 后 , 它 对 这 些 信 息 进 
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行 处 理 , 再 通过 它 所 控制 的 突 触 传 送 给 其 他 的 神经 元 . 神经 元 可 分 
为 “抑制 ” 拍 的 或 “兴奋 ”性 的 两 种. 当 -- 个 神经 元 的 蝇 枝 接收 的 兴 
奉 人 性 信息 累计 超出 某 一 值 时 ,这 个 固定 值 称 为 阔 值 (thresholdq )， 
这 个 神经 元 被 激活 并 传递 出 一 个 信息 给 其 他 神经 元 . 这 种 传递 的 
信息 的 神经 元 为 “兴奋 ”性 的 .第 二 种 情况 是 神经 元 虽然 接收 到 其 
他 神经 元 传递 的 信息 ,但 没有 阿 外 传递 信息 ,此 时 , 称 这 个 神经 元 
为 “抑制 ?性 的 . 

简单 模 所 上 面 原理 的 人 工 神 经 网 络 是 McCulloch-Pitts 认 知 
网 络 . 假设 - :个 神经 无 通过 晶 枝 接收 到 = 个 信息 ,MecCulloch-Pitts 
认 知 网 络 由 图 5.2 表示 . 


轴 窒 突击” 唱 枝 内 杭 轴 突 


图 5.2 MeCuolloch-Pitts 网 阁 


在 图 5.2 中 ,rw; 为 关联 权 , 表 示 神 经 元 对 第 i 个 晶 校 接收 到 信 
息 的 感知 能 力 . 函数 7() 称 为 输出 函数 或 激活 函数 (acetivation 
function )》. 采用 激活 了 晒 数 的 人 工 神 既 了 网络 也 称 冰 网 络 . MeClul- 
loch-Pitts 输出 函数 定义 为 


了 一 (2 = sgn [ wz ~ 9), (5. 1) 


了 


其 中 ， 
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1， zx 0, 
sED (4) 一 0， 其 他 ， 
8 称 为 阐 值 . 

从 方程 (5.1) 可 以 看 出 , 当 ww, 为 固定 值 时 ,对 给 定 的 一 组 输入 
Cziszar"… yn) ;很 容易 计算 得 到 输出 值 . 我 们 的 想法 就 是 对 给 定 
的 输入, 尽 可 能 使 (5. 17 的 计算 输出 间 实 际 值 吻 合 . 这 就 要 求 确定 
套数 wwi- 人 工 神经 网 络 的 主要 工作 就 是 建立 模型 和 确定 ww; 的 值 ， 
依据 人 工 神经 网 络 模 型 的 建立 和 权 数 w, 的 确定 方法 ,本 章 将 分 别 
介绍 神经 网 络 中 的 两 个 主要 模型 :前 向 (feed forward) 和 上 反 独 
(feed -back) 型 人 人 工 神经 网 络 . 

前 向 型 人 工 神经 网络 的 特点 是 将 神经 元 分 为 层 , 每 一 层 的 神 
经 元 之 间 没 有 信息 交流 ,并 且 按 一 旦 一 层 地 且 同 步 计 算 . 反 错 型 神 
经 网 络 则 将 整个 网 络 看 成 一 个 整体 , 神 径 元 相互 作用 ,计算 是 整体 
性 的 . 

在 已 知 一 组 正确 的 和 输入 输出 结果 的 条 件 下 , 人工 神经 网 络 通 
过 这 些 数 据 ,调整 并 确定 权 数 tw 的 方法 称 为 有 指导 学 习 . 在 只 有 
输 人 数据 而 不 知 输 出 结果 的 前 所 下 ,确定 权 数 的 方法 称 无 监督 
学 习 ， 

对 前 向 型 人 工 神 经 网 络 , 一 般 将 人 工 神 经 网 络 的 计算 分 为 两 
个 阶段 :学 习 阶 段 和 应 用 或 称 工作 阶段 . 第 一 个 阶段 为 学 习 阶 段 ， 
这 个 阶段 的 主要 工作 是 确定 权 数 wti 二 1];2,---…;n). 第 二 个 阶段 是 
应 用 或 工作 阶段 ,是 在 权 数 确定 的 基础 上 ,用 带 有 确定 权 数 的 神经 
网 络 去 解决 实际 问题 . 当然 ,学 习 和 应 用 并 不 是 绝对 地 分 为 两 个 阶 
段 ,; 他 们 相互 相 承 .可 以 通过 学 习 . 应 用 .再 学 习 , 再 应 用 的 循环 过 
程 ,逐渐 提高 人 工 神经 网 络 的 应 用 效果 . 

图 5. 3 是 前 向 型 人 工 神经 了 网络 的 计算 流程 . 第 一 个 阶段 如 图 
5. 3Ca) 描 述 , 它 的 主要 工作 及 ;在 选择 网 络 模 现 和 学 习 规 则 后 ,要 
据 已 知 的 输入 和 输出 学 习 数 据 ,输入 和 输出 学 习 数据 出 分 别称 为 
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理想 输入 和 输出 数据 ,通过 学 习 规 则 确定 神经 网 络 的 权 数 . 这 个 阶 
县 的 输 人 是 学 习 数 据 中 的 输入 数据 ,通过 人 工 神经 网 络 的 和 输出 同 
学 习 数 据 中 的 理想 输出 数据 的 比较 ,确定 神经 网 络 中 的 权 数 . 龙 如 
-~ 个 医学 院 的 学 生 , 通 过 教科 书 中 病例 的 发 病症 状 和 诊断 结果 ,来 
学 习 诊 断 . 第 _ -个 阶段 如 图 5. 3(b) 描 述 , 它 的 主要 工作 是 :根据 第 
一 个 阶段 确定 的 模型 和 得 到 的 权 数 ,在 输入 实际 问题 的 输入 数据 
后 ,给 出 一 个 结论 . 尤 如 一 个 医学 院 的 毕业 生 , 在 过 到 病人 后 ,根据 
医学 院 学 到 的 诊断 方法 ,给 病人 一 个 诊断 . 


神经 网 络 模型 : 
歼 定 权 数 
学 习 数 据 : 
输入 和 和 输 纪 
a} 


输入 输出 
神经 网 络 模型 ; 
ED 


《ba 


输入 输出 


图 5.3 人 工 神经 网 络 计算 过 程 示意 图 


依据 它 的 层 数 和 激活 西数 的 类 型 ,前 向 型 神经 网 络 还 可 以 进 
一 步 细 分 .下面 就 从 简 到 难 的 情况 来 逐一 介绍 前 向 型 神经 网 络 . 


5.2 单 层 前 向 神经 网 络 


单 层 前 向 神经 网 络 Csingle layer feed-forward neural net- 
works) 的 模型 结构 如 图 5. 4. 
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~ 


图 5.4 单 层 前 向 神经 网 络 


在 单 层 前 向 神经 网 络 中 ,只 有 输入 层 和 输出 层 . 输入 层 中 的 每 
-个 元 素 表 示 轴 罕 , 而 输出 层 中 的 每 一 个 元 素 代 表 一 个 神经 元 的 
内 核 , 由 此 得 名 为 单 层 神 经 网 络 . 它 的 特点 是 只 有 一 个 输入 层 和 一 
个 输出 层 . 单 层 前 向 神经 网 络 中 各 层 中 的 元 素 无 权 数 相连 . 输出 层 
通过 对 输入 层 的 输入 数据 和 同 理想 输出 结果 的 比较 ,确定 其 权 数 . 
最 后 ,用 确定 了 权 数 的 神经 网 络 应 用 到 实际 问题 中 . 这 类 神经 网 络 
主要 在 识别 问题 中 有 较 强 的 能 力 . 

若 记 输入 变量 为 正二 (zi ;Tn) ,输出 结果 为 了 一 (yi， 
Ya Va), :赋值 0 一 (六 ;为 输入 £ 同 神经 元 j 的 权 
数 , 则 第 j 个 捉 经 元 所 接收 到 的 值 为 


zi = Dw = fe 0 j= 1,2,n, (5.2) 
用 筷 阵 表示 为 
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Y=/ WX 一 9)， 《5. 3) 
s 2 : 线性 网 络 


最 为 简单 的 一 类 神经 网 络 是 线性 网 络 , 它 是 阅 网 络 的 一 种 . 类 
似 (5.1); 可 以 讨论 多 种 激活 函数 ,一 类 最 为 简单 的 激活 函数 是 线 
性 函数 . 如 果 一 个 神经 网 络 的 激活 西数 满足 
fr) = ef lz), 
f(r y= fr) + fy) | 
其 中 ,是 … 个 实 常 数 ,x,y,z 为 实 变量 值 , 则 称 该 神经 网 络 为 简单 
线性 两 络 . 
少 足 (5, 4 的 一 种 简单 情况 是 (5. 3) 满足 
了 = WIX. (5,. 57 
当 (5.5) 满 足 时 ,每 一 个 神经 元 满足 


(5. 4) 


1 
Vi = Cg ng) 机 . 《5. 6) 
Tm 
从 简单 线性 神经 网 络 (5. 6) 可 以 看 出 ,其 每 个 神经 元 的 输出 只 与 其 
相关 的 权 数 和 输入 有 关 , 因 此 ,n 个 神经 元 是 相互 独立 的 ,所 以 可 
以 采用 章 个 神经 元 研究 其 神经 网络 的 特性 . 
例 S.1 (5.5) 决 定 的 单 层 线 性 网 络 无 法 识别 “ 异 或 问题 ” 
XOR exclusive-or). 异 或 问题 是 逻辑 中 最 为 简单 的 一 种 运算 
关系 ,两 个 逻辑 变量 zi ,zs 的 运算 及 勿 果 ? 满足 


TT A OY 


一 一 二 总 


0 
1 
1 
站 


一 马 一 已 
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Ta 


图 5.5 异 或 问题 网 络 


图 5.5 是 求解 两 宣 量 - .个 输出 的 单 民 线性 神经 网 络 . 如 果 这 
个 神经 网 络 可 以 求解 异 或 问题 , 则 满足 y= 二 twiri 十 wors. 求解 这 个 


方程 得 到 
Ts 一 1， 
| 一 1， 
Ww 十 ?os = 0. 
这 是 :个 矛盾 方程 , 故 无 法 确定 权 数 ,使 得 单 屋 急性 神经 网 络 识别 
蜡 或 问题 . 口 ] 
虽说 单 层 线性 挤 经 网 络 有 例 5. 1 的 敏 合 缺陷 ,但 多 数 研 究 者 
仍然 继承 其 研究 方法 . 下面 介 绍 确定 权 数 的 几 个 常用 规则 . 这 些 规 
则 在 以 后 的 相关 章节 中 有 进一步 的 推广 . 
1. Hebb 规则 
Hebb 规则 是 在 有 监督 学 习 的 情况 下 使 用 . 设 着 (2) = (Cx.(1)， 
Xantt)) 7 和 了 (2) 一 Cy ye0),… ,ys C1))T 是 第 :组 用 
于 学 习 的 输入 输出 数据 ,zw 的 变化 为 
Ce 一 er (ty, 2), (5. 7》 
其 中 ,aa 称 为 学 习 效 率 . (5.7) 的 含义 是 通过 输 人 和 输出 的 相关 性 
来 体现 权 数 的 变化 . 当 输 入 和 输出 的 相关 性 越 大 ,它们 的 相关 权 与 
其 成 正比 . 反 的 艇 改 公式 为 
Wet Do= Wa WD, Wo) = (Br)). (5 8) 


定理 .1 当天 人 1) 了 (2 ,下 (x) 为 标准 正 交 向 量 时 , 若 生 
《0) 一 0, 通 过 Hebb 学 习 规 则 (5. 8) 学 习 mw 次 , 则 由 (5.5) 决 定 的 单 
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层 钱 性 神经 网 络 可 以 区 分 这 mm 个 向 基 , 且 对 输入 (DU 所! 二 
贡 ) ; 认 知 为 &F (#2). 
证 明 ”在 学 习 敬 次 以 后 ,有 了 (二 WiC) 玉 人) ,满足 (5.7) 和 
‘5.8), 由 (5.7) 得 到 
EW (EY) = (er lt) erro) ye EX YT Cy CE) yet 人 tt) 
i A 


再 由 (5. 8) 和 于 (0) 一 0, 得 
Won 1) = Wom) +eWm) = > OW). 
i—1 
重新 认 知 瑟 (?), 有 


7 =WTOn + DFO) = | D1 owe)) KC) 


一 >) (Cyr) s Ya Cr) Fm" sya) )T (gx (ry sy ETs CT) 于 ;ErTm (TY)) 
一 


" CECE) Ra) ye Em) YT 
一 SC 
由 此 ,证 明 结 论 . 口 ] 
定理 5. 1 说明 Hebb 规则 对 正 交 的 和 馈 量 组 有 非常 好 的 识别 性 
能 . 这 是 它 的 长 处 , 车 识 别 的 向 量 不 具有 正 交 性 , 则 Hebb 规则 的 
认 知 性 就 不 一 定 很 好 . 例 5.1 就 说 明了 问题 . (5. 7) 的 一 个 修正 是 
dr tt) = Ex EE, — yt)), {5.7') 
其 中 ,t 是 目标 输出 ,y,(7) 是 第 j 个 神经 元 的 实际 输出 值 . (5.7) 中 
的 yt 表示 第 上 组 学 习 数 据 的 输出 , 它 是 一 个 已 知 的 值 .不同 的 
是 5. 70) 中 的 viG) 是 在 学 习 了 z 一 1 组 数据 后 ,得 到 研 (z) ,而 后 由 
了 (A 一 WT (XC) 确定 ,tj 是 期 望 的 目标 输出 . (5.71) 的 一 yy, (2) 
表示 当 学 习 :一 1 步 的 输出 什 间 上 自 标 值 有 差别 时 ,输入 和 一 y,(2) 
相关 最 大 的 权 数 变化 最 大 . 
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2. 最 小 二 萎 学 避 规 则 

最 小 二 乘 学 习 规 则 (LMS- 一 -least mean square) 也 称 为 线性 
条 正规 则 (ADALINE adaptive linear element). 记 输 入 时 和 
理想 输入 瑟 = (dyds;…' 141d,) ,LMS 是 在 学 习 的 过 程 中 使 得 

FW) = (Do YD 一 了 )， C5.9) 

最 小 ,其 中 了 一 WX. 

出 前 面 的 讨论 ,; 单 层 线 性 前 向 神经 网 络 层 的 多 个 神经 元 的 研 
究 可 以 按 一 个 神经 元 研究 .求解 满足 (5.9) 的 所 到 据 所 有 可 能 的 
样本 , 通过 所 有 的 样本 计算 求解 45. 9) 是 不 经 莘 的 ,也 是 不 现实 的 ， 
对 单 层 线性 神经 网 络 可 以 通过 概率 分 析 求 解 剑 . 只 讨论 一 个 神经 
元 的 情形 . 

没 输 估 下 一 (有 7 和 理想 输出 可 为 随 抽 变 堪 ， 
LMS 的 期 望 模型 为 

FeCW} = Ed — YY):. 


变形 为 
FEW) =ECd — WE)’ = Ed? 一 2WTXd 十 WIXXTWY 
ECA) 一 2W'E(AX) 十 WTECXIT NW. 

这 是 一 个 二 次 型 ,最 小 值 存在 的 充分 条 件 为 (TX) 正定 ,其 中 
五 (天 天 7] = (EC(RK,)) ym. 
EXEX') 正 定 的 一 个 充分 条 件 是 :XX; 与 了 (i 关 四 相互 独立 ， 
ELXD)—=07=1,2,.0 ,0m 和 ECXDFEO T=1 2, ,mn. 
在 五 (于 XX ) 正 定 的 条 件 下 ,由 
as] 


IF 


= | as | 2E(d¥) + 2E(YXTYW = 0, 


204 现代 优化 计算 方法 


W" = ECXX'}) EAX). C5, 10) 
有 包 个 神经 元 的 情况 下 ,理想 输出 为 有 一 《ad ,dd,), 由 
(5. 10? 第 j 个 神经 元 的 权 为 
Yay 


Wi 一 | |= ECXXOEC XA), j=1,2n. (5.10') 


ony 

上 面 的 讨论 说 明 在 一 定 的 条 件 下 (5.9) 的 最 优 解 是 存在 的 , 形 
式 如 (5.10) 或 C5. 10'), 

在 大 多 数 情况 下 ,求解 ECXXT) 基 比较 难 实 现 的 . 因此 需要 更 
一 般 的 数值 求解 方法 . 下 面 介绍 单 样本 LMS 学 习 规 则 . 

从 理论 分 析 上 得 到 (5. 9) 的 最 优 解 在 期 望 值 模型 下 是 存在 的 . 
一 般 情 况 下 ,不 易 求 解 (5. 10) 的 期 望 值 , 解 决 的 办 法 是 数值 求解 ， 
我 们 先 考 虑 一 次 只 给 出 一 组 输 人 输出 学 习 数 据 , 称 为 单个 随机 样 
本 学 习 方 法 .设置 二 trisxrzs ;Xm) 7 和 和 DD 一 tdiydsy 呈 ds) 7 分别 
是 随机 选取 的 一 对 学 习 输 人 输 册 向量, 了 一 研 " 是 实际 输出 向 量 . 
由 (5. 9) 

FW = yao 一 dd) 
j=l t=1 
进而 
ee 一 22 ur — 4d) = 20y, 一 dz 


下 (WW) 下 降 的 方向 为 


= 
ru = 2 do 一 Eld, 一 Ys 
tld 2 C5.11) 


其 中 ,e 为 学 习 效 率 . (5. 11) 同 Hebb 规则 (5, 7') 相 同 ,输入 z, 和 输 
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出 y, 相互 共有 线性 恬 正 关系 . 因此 ;LMS.,Hebb 规则 .Adaline 规 
则 有 时 混 称 . 它们 可 以 统称 为 误差 修正 规则 . 于 是 权 数 的 变 人 花形 
式 为 
WG =We) + SWC) 
一 丽人 + el Adley — yz ) mys, (5. 12) 
从 推导 中 得 知 (5. 11) 是 函数 天 CW) 下 降 的 方向 . 我 们 最 终 的 
目的 是 得 到 满 是 (5.10 7) 的 研 * .通过 一 个 个 单一 随机 样本 的 学 习 ， 
在 什么 样 的 条 件 下 635. 122? 可 以 收 伐 到 环 7? Widrow 和 Stearns 在 
[7] 中 给 出 收 敏 前 充分 条 人 性 为 
Da=m, De < on. 《5. 13) 


很 明显 ,一 地 满足 (5. 13). 
上 面 的 情形 可 以 推广 到 每 次 采用 随机 选取 一 组 样本 进行 学 习 
的 情况 . 设 一 组 样本 为 
{ 且 1 DR DY, (RE, DE)}, 
其 中 Er ;TT 和 天 一 (人 ty, 且 标 精 数 为 


KE 
FMW) = DO — DY)TOY: ~ 1), 
二 一 1 


其 中 ,一 WR. 权 数 的 计算 公式 为 
WG 1) =WG) + WU) 


KK 
一 W(t) 十 a (EY — HO ED) en 
业 一 】 


一 组 样本 的 学 习 方法 介 于 单个 样本 和 大 规模 样本 的 学 习 方法 
之 间 . 于 是 玉 的 选取 决定 于 收 伍 的 特性 . 

读者 应 该 注意 评价 Hebb 规则 和 LMS 期 望 模型 中 解 的 区 别 . 
Hebb 规则 的 评价 出 发 点 是 考 虚 每 一 个 体 ,因此 ,有 例 5. 1 无 法 识 
别 异 或 阿 题 的 最 环 情况 和 定理 5.1 的 可 以 区 草 mm 个 标准 正 交 向 
量 的 理想 结论 . 回想 第 一 章 对 算法 的 评价 方法 ,三 种 评价 方法 中 有 
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两 种 为 :最 环 分 析 法 和 概率 分 析 法 . 对 Hebb 规则 的 评价 就 是 最 坏 
分 析 法 . LMS 期 望 模型 解 的 评价 方法 就 是 概率 分 析 法 . 在 概率 分 
析 有 最 优 艇 的 和 情况 下 ,还 需 用 确定 性 的 计算 方法 近似 求解 . 


$5. 2.2 非 线性 网 络 


当 激 活 果 数 选 非 钱 性 是 数 时 ,神经 阅 络 称 为 非 线性 神经 网 络 . 


非 钱 性 神经 网 络 也 是 阔 网 络 的 一 种 . 常见 的 非 钱 性 函数 有 
符号 函数 ( 见 图 5. 6(a)), rz) 二 11， “> 人 
“ 0， 其 他 ， 


皇 


Fr) 


图 5. 6(a》 符号 落 数 


SCSigmold) 形 函数 ( 见 图 (5. 6Cb)): f(z) 一 - 二 


{ry 


图 5.6(b) S 形 尊 数 


符号 函数 是 阶 姥 孙 数 ,在 物理 中 容易 实现 . 在 识别 和 归 类 癌 题 
中 , 当 输 出 值 为 1 时 ,我 们 可 以 肯定 地 说 出 输入 的 归 类 , 它 的 缺点 
是 数学 性 质 较 差 ,如 在 工 点 不 光滑 .S 形 函数 弥补 了 这 一 方面 的 不 
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足 , 使 得 郴 数 值 在 (0,1) 区 间 连 续 变化 .5 形 画 数 又 称 Sigmoid 桥 
数 . 从 符号 函数 和 S 形 前 数 及 神经 网 络 结构 可 以 看 出 ,前 身 单 层 非 
线性 神经 网 络 非常 适合 分 类 和 判定 问题 ,如 以 输出 什 0 和 1 各 表 
示人 分 类 问题 或 以 输出 为 * 否 "和 “是 ”判定 问题 , 由 于 符 导 函数 和 S 
形 郴 数 本 身 所 具有 的 特性 ,在 实际 庶 用 中 风采 用 符 导 函数 ,因为 这 
个 阔 数 的 值 有 明确 竟 0 和 1 归 类 ;理论 分 析 中 常 采用 后 一 个 函数 ， 
四 为 这 个 盟 数 的 数学 性 质 非 常 好 . 

先 研 究 符 导 函 数 的 性 质 . 从 下 例 可 以 看 到 , 符 导 函数 决定 的 单 
层 非 线性 神经 网 络 同样 无 法 实现 XOR 功能 . 

例 5.2 采用 符号 函数 的 单 层 非 线性 神经 网 络 同 样 无 法 实现 
XOR 功能 . 从 例 5. 1 得 到 

Tl Ta 区 期 诅 输 出 


R&R 所 
wy 
bm 


Wi 二 wsrs =T 


图 5.7 mixr 十 wzxz 二 工分 割 平面 图 


由 Yo1z71 十 iuaza 一 其 中 了 了 为 衣 值 ,将 平面 分 成 两 部 分 ( 见 图 
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5.7). 如 果 具 有 区 分 功能 , 则 满足 (0,0) 和 (1,1) 在 一 半 平 面 内 的 同 
时 ,50,1) 和 (1,0)7 在 另 … 半 平面 内 , 即 要 求 
OOO) EE Hl= {rre) tmz, 二 wot 三 卫 )， 
和 且 
C0,20,01,0) EE H2 = {Cryra) wr + wx; > T), 
或 反之 . 这 样 要 求 


ws > TT， 
wi > I, 
的 wi,ws， 了 是 不 存在 的 ,因此 ,结论 成 立 . [] 
以 单个 神经 元 单 -- 随 机 样本 讨论 学 习 规 则 , 符号 函数 决定 的 
神经 网 络 的 学 习 规 则 同 线 性 网 络 的 学 习 规 则 相同 . 设 给 定 初始 
玉 (0) 和 志 值 To, 学 习 规 则 是 
Wi 二 DD) =e{td) Oo yO XT Wy. (5. 14) 
从 (5.14) 可 以 得 到 
(1) 当 462) 一 y(t) 时 ,表明 已 经 识别 第 :组 输入 于 () ;此 时 ， 
WG 十 1 二 WC2D, 即 权 数 不 修改 .此 时 间 值 也 不 收 改 ; 
《2) 当 d) 一 1 且 y() 一 0 时 ,神经 网 络 没 有 区 分 输入 XY(1)， 
此 时 表明 


十 zz 安 了 了 ， 


ft 一 人 10 下 人 ssS 
于 是 (5.14) 修 改 权 数 使 得 
zf 二 1) =Wi TT DO) 
=&X 人 TREO 十 WITOOKG) > zf), 
将 阀 值 修改 为 
TH 一 了 一 总 7 《5. 157 
(3) 当 4 一 0 且 399 一 1 时 ,神经 疯 络 没有 区 分 输 人 Xi)， 
此 时 表明 
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gf 一 本 Tt > 了 
于 是 (5.14) 修 改 校 数 使 得 
zt 1) =WG DEC) =— eX Od 十 WTG) < zf), 
将 阔 值 修改 为 、 
T= eR. (5. 416) 
从 理论 来 考虑 上 述 学 习 规则 的 收 敏 人 性 . 符号 函数 fCw C0) 中 
的 变 元 为 
uf) = WTOOXE) 一 TT. 《5.17) 
在 学 习 过 程 中 ,和 (和 冰 值 T. 都 是 待 确定 的 参数 . 若 记 广义 权 和 
输入 为 


WE) = WTIT, EO = (KG), — 17T， 
{《5. 17) 变 形 为 
u(t) = (WOT TO). (C5. 18) 
这 是 一 个 x 十 1 个 神经 元 的 单 层 神 经 网 络 问 题 ,其 多 值 为 0， 
如 果 纵 定 的 分 类 问题 或 判定 问题 是 线性 可 分 的 , 即 如 图 5.8 
所 示 , 存 在 一 条 直线 (平面 ) 将 平面 (空间 ) 分 为 两 部 分 ,使 得 理想 输 
击 为 1 和 0 的 输入 点 分 别 在 各 自 一 半 的 部 分 中 . 


图 5.8 线性 可 分 示意 图 


《5,16) 过 原点 ,由 上 面 (1)、t2) 和 (C3) 的 讨论 , 当 已 有 的 权 数 使 
得 神经 网 络 不 能 区 分 “Y” 和 “N” 两 部 分 时 , 即 如 图 5.8 中 权 数 确定 
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的 直线 (平面 )T2:wt2) 二 WTODX 一 T, 时 ,从 理论 上 来 说 ,只 要 按 -… 
定 的 条 件 ,用 55. 14) 和 (5. 15) 或 (5. 16) 修 政 广义 权 和 适当 选取 s， 
了 2 最 终 盘 近 了 1. 一 个 直观 修改 广 广 权 的 办 法 是 : 先 以 理想 输出 为 
1 的 输入 数据 学 习 ,使 得 神经 网 络 可 以 识别 理想 输出 为 1 的 数组 . 
在 学 习 的 过 程 中 要 求 适当 选取 se 使 得 直线 L1 不 能 变化 本 人 快 ,以 
避免 将 已 经 识别 的 数据 重新 不 能 识别 , 且 至 少 使 一 个 没有 识别 的 
数组 得 以 识 缠 .在 理想 输出 为 1 的 输入 数据 得 以 识 草 后 ,再 用 类 似 


的 方法 ,识别 理想 输出 为 0 的 输入 数据 . 由 此 可 以 有 限 步 达 到 识别 - 


线性 可 分 疝 题 . 总 筠 上面 的 讨论 ,得 到 这 样 的 结论 :如 果 给 定 的 分 
类 问题 或 判定 问题 是 线性 可 分 的 且 & 选取 合 道 , 则 55. 14) 的 学 习 
规则 使 得 神经 网 络 可 以 识别 这 些 问题 

F 面 讨论 了 一 导线 性 与 非 线性 神经 网 络 , 下 面 将 介绍 一 个 多 
雇 神 经 网 络 的 模型 ,学 习 规 则 和 算法 ， 


5.3 多 层 前 向 神经 网 络 


以 一 个 两 层 的 神经 网 络 图 5.9 来 理解 宪 层 前 向 神经 网 络 
Cmulti-layer feed forward neural networks ). 

同 单 层 神经 网 络 档 同 的 解释 :输入 层 中 的 元 素 为 轴 突 ;输出 层 
的 元 素 为 神经 元 的 内 核 ; 隐 层 的 元 素 也 为 神经 元 的 内 核 . 由 此 得 到 
一 个 两 层 的 神经 元 , 它 的 输入 户 有 3 个 元 素 , 隐 层 有 两 个 神经 元 ， 
输出 层 有 4 个 神经 元 . 为 了 方便 起 见 , 各 层 的 元 素 都 称 为 神经 元 . 
前 向 神经 网 络 要 求 每 一 屋内 的 神经 元 无 相连 关系 且 上 一 层 (左边 )} 
的 输出 是 下 一 层 ( 右 边 ) 的 输入 . 

一 般 的 多 层 前 向 神经 网 络 的 结构 如 图 5. 10 所 示 . 它们 有 两 层 
以 上 (包括 两 层 ) 的 神经 元 ,第 i 层 的 神经 元 的 输出 为 第 i 十 1 层 神 
经 元 的 输 人 ,但 在 一 层 之 内 的 神经 元 是 没有 输入 输出 关系 , 除 输入 
和 输出 层 以 外 的 神经 元 层 称 为 隐 层 , 输入 层 记 为 第 0 层 , 输 出 层 所 


as 
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输入 层 隐 层 输出 层 


图 5.9 三 民 前 向 神经 网 络 结构 示意 图 


第 上 一 1 层 第 上 层 第 一 1 县 


图 5.10 包 层 前 向 神经 网 络 结构 示意 图 


在 的 层 数 为 神经 网 络 的 层 数 . 


其 


En 


多 


记 第 * 一 1 层 到 第 * 层 的 权 数 矩阵 为 
Ww 一 a xm 


中 ,ns 表示 第 赤 层 神经 元 个 数 . 输 入 向 量 为 四 一 (TiyTayes 


7 


车 多 层 神经 网 络 的 每 - 层 都 采用 (5. 5 的 激活 函数 输出 , 称 为 


层 简单 线性 前 向 网 络 , 则 第 层 的 输出 为 
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忆 = (WY CW WX. 
内 此 ,多 和 岩 简 单线 性 前 向 网 络 同 司 .527 等 价 ,无 法 区 别 XOR 问题 . 


5.3.1 非 线 性 神经 网 络 


采用 非 线性 激活 函数 的 神色 网 络 , 它 区 别 异 或 问题 的 葡 果 台 
如 何 ? 
例 5.3 设 两 层 前 向 神经 元 网 络 如 图 5. 11， 


图 5.11 区 别 XOR 问题 的 神经 网 络 


激活 消 数 采用 符号 函数 , 启 信 为 0. 我 们 讨论 图 5.11 的 神经 
网 络 是 否 能 够 区 别 XOR 问题 . 


zwD-[ ve- 


Za: 一 你 17 一 1， ¥, = F(Z2,) = 1. 


# x=|° | 时 ， 


“wwe 加 


Z =WiY, 一 1， 了: 一 FF) = 1. 
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x |) | 时 ， 
a wl] [or = [9] 
Z =WIY, = 0, Y,= f(2,) = 0. 

当 x=| | 


Z， -| |= [> = AZ) = |， 


Za —Wi¥, 一 0， 了 一 f(2,) = 0, 

可 以 看 出 ,由 贸 值 为 0 的 符号 函数 决定 的 图 5. 11 神经 网 络 能 够 区 
别 XOR 问题 ， 器 ] 

虽说 采用 符号 函数 的 多 层 前 向 神经 网 络 有 很 强 的 分 类 功能 ， 
如 对 XOR 问题 的 识别 ,但 困 没 有 很 好 的 学 习 方 法 , 故 在 实际 问题 
中 应 用 较 少 . 而 采用 线性 函 孝 的 多 层 前 向 神经 网 络 ,由 于 同 单 屋 线 
性 神经 网 络 的 功效 等 价 , 因 此 ,无 法 解 尖 复杂 问题 的 分 类 或 识别 
问题 . 

S 形 函数 有 很 好 的 函数 特性 ,其 效果 又 近 做 符号 范 数 ,因此 现 
主要 讨论 采用 $ 形 函 数 的 前 向 多 层 神经 网 络 的 学 习 方 法 ， 

假设 一 个 天 层 神 经 网 络 每 一 层 的 输入 输出 关系 如 下 ;从 第 0 
层 到 第 一 层 的 原始 输入 向 量 、 权 和 矩阵 ,接受 值 向 量 和 输出 向 量 及 它 
们 之 间 的 关系 分 别 为 


Tr 谤 | V1 
1 1 
工 ? 区? J 
天 一 = “W, 一 Cr Dn ?2 一 - 一 Wi 五 ,YY 一 - 一 F(Z), 
= 也 


《5. 19》 
第 & 一 1 层 到 第 & 层 的 权 第 阵 .接受 值 向 共和 输出 向 量 及 它们 
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之 癌 的 关系 分 别 为 
对 Yt 
E44 bE 
W, = 《re xm 一 ; = WiY;_.,Y, = : 一 .ADD)， 
Ea ba 


(5. 20) 
其 中 ,yf 二 (zt》. 
类 似 5.2 节 对 单 层 线性 网 络 学 习 规 则 的 讨论 方法 ,我 们 先 讨 
论 单 样本 学 习 规 则 . 学 习 的 原则 是 :确定 厂 , 使 得 
FOW) 一 《一 了 TD 一 了 x) 《5. 21) 
最 小 ,其 中 :了 一 (ads an 为 理想 输出 . 分 输出 层 . 隐 层 及 
输入 层 对 学 习 规 则 讨论 . 


一 .输出 层 
对 和 输出 层 的 每 一 个 神经 元 ,由 (55. 20) 得 
a 
Bo dyr . . 
和 汪 ky, I 1 ,2 sRE—1? J 二 1 2， * 挫 朴 
《5. 22) 
二 、 隐 层 及 输入 层 
对 第 下层 (< 委 玉 一 1 的 一 个 神经 元 思 当 类 一 太一 1 时 ， 
) 
Be 1 -2 ) jE- 了 
dy 2 
_ =-— 2 3 ) 2 mt 
ng 一 | 2 
一 一 2>1(z 一 站 Ze 过 号， Re 《5 23) 


tg=1 
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K dy-1 


=— 20) (Cd 六 》 Ew ei 一 
x- 


i 一 ] 2 3 了 一 ,21 


5. 12 给 出 55.23) 各 参数 的 关系 . 


第 及 -8 层 第 天 -1 层 第 天 尼 
图 5.12 《5- 232) 的 参数 关系 
对 其 他 的 隐 层 同 (5. 23) 束 有 相国 的 征 哗 当 和 六 一 时 ,有 
dyt 


et a -A 2 Dy ee- lig 2 


天 =1 = 一 ! 


十 + Mt} tl 
>) t+ dy 2 + A 11 di 1, (5. 24) 
tts dts, < 人 dt Rt dt " 
i 二 


A 


t= ly2omn ys j= 2 


其 中 ,输入 层 上 上 £=0 时 多 一 到 1 入 5 扫 ro- 
由 于 (5. 2227 5, 237 和 5. 2427 出 较 难 以 记忆 ,可 以 用 矩阵 的 形 


式 表 示 . 记 


di— 
ds 一 六 

Br FL 一 : :Wr = 邢 单 位 阵 )， 
人 一 


则 (5, 21) 为 
Fw) 一 (CBr ) TBr,i. (5.91") 
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dr 
二 we 2 
其 中 :diag (a, soa""” ,dn 表示 久 A da sn 为 对 前 元 束 的 nn 阶 对 
和 阵 .《5. 22) 改 写 为 


Hk. 一 diag 


Wena, » 


| 
aF CW ba 
(| = 一 2| ， (BT. 《5. 227) 
J E_n : 
si | 
KE-l 
记 
. Ady! dy ! dy 
Br 一 diag I ,7 sR WerBr, 
me 
则 {5.23) 牙 写成 
下 一 
a (W ’ 
[| = 一 2| |(Bes). (5.23') 
i Wi : 
De 
记 
ay: dy dy 
Br 一 diag 党 ,一 党 Wn , 
则 (5. 24? 改 写 为 
WH! 
a CW) 和 着” 
(| _ 一 一 2| ， CB 《5. 24) 
此 一 了 
| 


当 第 上 个 学 习 样 本 值 王 人 输入 后 ,可 以 依次 得 到 
Y, (1) 一 Cy CE ,YE so sy C2))T, 
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了 (的 = CY SEs YE (EY, 


Yrxtt) 一 (3 下 人) ey (CE 
此 时 ,用 (5.22 55.23 255.24 和 和 已 知 的 研 人 可 以 得 到 相应 的 


值 ,用 带 有 参数 :的 形式 表示 为 (+) 和 | 5 ()| 。 。 ， 接 


FCW) 下 降 的 方向 确定 权 数 的 学 习 规 则 为 | 
Wi = W(t) + OWit), R= KK l,m",1, 


(5. 25》 
其 中 ， 
wry) 
上 一 1 人 
yell) 


s 为 第 上 步 的 学 习 效率 . 

从 55. 25) 的 学 习 规 则 看 到 这 样 一 个 规律 :W; 的 修正 是 从 最 后 
一 层 神 经 元 的 权 数 Wx 开始 . 反 向 递 推 求解 修正 天 一 1 层 的 Wx 1， 
,一 直人 收 正 到 第 一 - 屋 的 权 数 页 :. 由 此 将 (5.25) 学 习 规 则 称 为 反 
推 IBP) 学 习 规 则 (backpropagation). 采 用 5 形 函 数 的 前 向 多 层 神 
经 网 络 有 下 面 的 反 推 学 习 算法 ,这 是 一 个 有 监督 的 学 习 算 法 . 


反 推 学 习 算 法 

STEP1 选 定 学 习 的 数组 {年 (,D 的 }) ,1 二 1,2,…, 丁 ,随机 梢 定 
初始 权 和 矩阵 名 (0); 

STEP2 用 学 习 数 据 下 tt) 计算 YPC) ,Pot yn ,Yk ; 

STEP3 用 (5.22')(5.23')(5,24') 的 计算 ,上 反 向 修正 剑 () ,修正 
公式 为 (5. 25); 直 到 学 习 完 所 有 的 数组 . 
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当 激活 函数 Atz) 一 于 Ps 时 ， 
dy 


dt = Ft{zt}(] 一 F(z)), A T= ld nis 


(5, 26) 

代 人 (5. 22 C5. 23 (5.24) 使 计算 得 以 简化 ， 

BP 算法 弥补 了 符号 函数 在 实际 应 用 中 难以 确定 权 数 的 不 足 ， 
使 得 具有 很 强 识 别 功 能 的 前 向 多 层 神经 网 络 得 以 应 用 .但 应 用 EP 
算法 中 需要 注意 以 下 主要 问题 : 

(1) 激活 函数 为 S 彤 熙 数 , 只 能 趋 近 上 或 1. 于 是, 在 神经 网 络 
的 工作 期 ,输出 值 只 能 接近 1 或 0. 判 定 -个 数组 的 归 类 问题 就 需 
妈 给 出 一 个 分 界 值 ,如 0.5, 而 不 是 绝对 的 1 或 0. 

(2) WL40) 的 选取 最 好 是 随机 的 . 当 镀 (0) 的 所 有 权 数 相等 时 ， 
由 (5.20) 的 Zi 一 WTFi_1s 上 二 1,，2,…, 民 推出; 无论 什么 样 的 输 
人 无,Z: 中 的 全 部 分 晤 相同 ; 当 第 一 层 的 激活 画 数 取 同 一 个 浮 数 
时 ,7 的 全 部 分 量 由 同 ; 当 每 一 层 的 激活 函数 取 同 一 个 函数 时 ,由 


和 = dy 『 r 
于 2 的 各 分 量 相 同 ， 所 以 ,x 一 ze， 但 由 (5.22)(5. 23 ) 
wen 中 的 所 有 元 案 相 等 . 由 此 得 到 

的 修正 权 对 很 多 问题 无 法 识别 . 


(3) 算法 的 全 局 最 优 性 . 这 里 存在 的 理论 问题 之 一 是 目标 函 
数 的 选取 及 应 满足 的 条 件 , 如 采用 期 望 目标 模型 在 什么 条 件 下 有 
上 唯一 的 极 值 点 ? 之 二 是 一 般 的 情况 下 是 否 有 了 唯一 的 极 值 点 ? 

内 要 学 习 效 率 & 选取 合适 , (5. 22'》)、(5.23') 和 和 (5. 24 站 决定 
的 下 降 算 法 ,类 似 (5.13), 收 剑 到 局 部 最 优 , 可 参考 文献 [8]. 为 了 
避免 局 部 最 优 解 的 一 个 改进 方法 是 将 (5.25) 的 掌 习 规则 骨 正 为 


1 (Se 


Te) 一 一 D5 


(| + adWitt ~ 1), (5.27) 


Tl 
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(5. 27) 右 端的 第 二 项 相当 于 一 个 势能 “惯性 ”, 式 中 的 a 取决 于 权 
数 两 次 变化 的 相互 关系 ， 

(4) 对 于 多 样本 学 习 , 即 一 次 是 用 -组 样本 学 习 , 此 时 的 学 习 
规则 是 使 


rr 
FW = YDG) 一 Jr)T0DCD — Fx)) 


t= 


最 小 . 由 于 CW) 一 》) 环 (W), 其 中 
F(W) = (DG — YONT CDG) — Yr lt)), 
所 以 学 习 规 则 是 将 P 个 样本 用 (5. 25) 的 方法 累加 . 


5. 3.2 BP 算法 的 一 个 示例 


为 了 说 明 BP 算法 的 计算 过 程 ,用 图 5. 13 的 共有 6 个 神经 元 
的 两 层 前 向 昼 经 网 络 ”1 去 产生 图 5. 14 的 理想 输出 . 


图 5.13 6 个 神经 元 的 两 层 神 既 网 络 图 5.14 理想 输出 
权 短 阵 随 机 选取 为 


Ws 一 02 Wg = .33 te = 0.4, ws = 0.5, 

Teag — OD. 5 Wss — 0 2 vee = 0.1, wse 一 0.4. 
学 了 可 数据 如 表 5. 1, 按 输入 变量 每 0. 05 为 一 个 分 割 点 ;共有 80 个 
数组 . 
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天 5.1 学习 数据 
输入 利 输出 值 输入 值 输出 但 输 人 值 输出 值 


0. O00 D0. OU 1. 800 让 ,OO 2. 900 心 ,日 5 
dQ. OS 0. 525 1. 3850 0.578 2.950 D0. O25 
o. 1c0 0. 530 1. 300 D550 3.000 0. 000 
0.150 0.575 1. 950 0D. B25 3. 050 DO. O25 
0. 200 0D. 00 2. O00 0. 500 3.100 0.050 
+ 2. 050 0D. A475 * 
0. 900 0. 950 2. 00 0. 450 3. 800 0. A400 
0 950 0. 975 2, 150 D. 425 3. 850 0- 425 
1- 000 1- 000 2. 200 站 夺 间 0 3. 900 0. 450 
1. 50 中 975 号 . 250 器 . 373 3- 950 D. 475 
1.180 心 850 #4. 000 .FOO 
激活 函数 采用 
1 
f(x) = Te 


{5, 25) 的 学 习 效 率 & 一 1. 从 表 5. 1 的 开始 对 每 一 个 数据 进行 
学 习 . 


ry 一 D， 
zz 一 za 一 si 一 2 一 0， 
Yi =/(z,) 一 子 ， {Oo 2,3,4,5, 


Ts 一 广 (0.5 十 0.2 十 0.1 TT 0.4) = 0.6, 


36 一 0.6457. 
反 推 确定 第 二 层 权 数 变 化 ， 
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B, =(0.5— 0.6457) = (— 0.1457}, 


d 
BH, — TB, = 0.6457 X (1 — 0.6457) xX (— 0.1457) 


dz 
一 一 0.0333. 
梯 惠 矩阵 
Ys — 0.0 167 
— 0.0 167 
(Se ) 一 >» (Ba) 一 ?| 0 107) 
5 一 0 167 | 
由 《5, 25) 的 学 习 规 则 得 
6 0.5 0.4 833 
Tas 0.2 112ar WwW) 0.1 833 
Teg 一 0.1 -让 Be ox 0.0 833| 
TI 0. 4 0.3 833 


反 推 确定 第 一 层 的 权 数 变化 : 


THag 

. THss 了 

B, =diag(t0.5 Xx (1 — 0.5)0.25,0,25,0. 25) (CB,) 
Toae 
YH 


0,5 
0. 2 
一 diag(0. 25,0. 25,0. 25,0. 25) 0.1 (一 0.0333)7 


.4 
一 0.004 
一 0.0017 
— 0.0001 | 
一 0.000 
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— 0.0187 

" — 0.0167 
(| —— 27{B).—— 27 = 人 0, 

dv, 1 — 0.0]167 

— 0.0167 


再 由 (5. 25) 的 学 习 规 则 得 
Cia Ta Ta ts) = {0, 2,0.3,0. 4,0.5)7. 
通过 这 -个 样本 的 学 习 ,再 输 人 这 个 样本 , 则 有 
zs 一 0.5(0.4833 十 0. 1833 十 0. 0833 十 0. 3833) 
=0.56066, ys = 0. 6380, 
比 原 有 的 0. 6457 下 降 5. 3%. 以 表 5.1 的 数据 , 按 上 顺序 依次 进行 
学 习 , 图 5.15 和 图 5.16 分别 表示 在 学 习 总 数 次 1493 和 30 588 时 
的 示意 图 形 . 


~ 
Ci 
A 
- 站 
。 “、 一 一 
‘ 、 。 
- 
~ 四 
~ r 
" 
- 


图 5.15 学 习 1493 次 后 示意 图 ”图 5.16 学 习 30588 次 后 的 示意 图 

前 向 多 有 是 神经 网 络 的 实际 应 用 包括 很 宪 方 面 , 如 手写 体 的 识 
别 , 语 音 识 别 , 文本 语音 转换 ,图 象 识别 ,生物 和 医学 信号 处 理 
等 0 


$5.4 竞争 学 习 神 经 网 络 


竞争 学 习 神 经 网 络 是 元 监督 神经 网 络 中 的 一 类 ,. 给 定 输 人 数 
据 : 不 同 于 有 监督 学 习 中 需要 对 应 的 理想 输出 ,无 监督 学 习 不 需要 
对 应 的 理想 输出 . 也 就 是 说 , 它 的 输出 结果 表明 输 人 数据 中 的 相关 
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或 相似 性 . 
对 于 单 层 前 向 网 络 , 一 类 简单 的 线 件 竞 争 学 习 模 型 为 


i m 
| 
1, Dw 一 max[ > Ta 4 
yy; 一 i=] LE ‘=1 


0， 其 他 . 
当 输 入 向 量 和 印加 二 Cwwy srw ytomy) yj 二 1,2,… yn 单位 化 以 
后 , 寝 选中 神经 元 的 权 数 向 量 W" 同 输入 向 量 X 的 欧 氏 空间 距离 
最 近 . 因此 , 它 的 学 习 规 则 是 
wit + 1) = vett) + re, (0), 
其 中 
Ot (Et) = yA CTA 一 vw C2)), 
竞争 学 习 的 最 终 效 果 使 得 相近 的 输入 数据 分 为 同一 类 . 
Koskor!1 用 下 面 的 一 个 简单 神经 
网 络 例子 “保持 距离 ”来 模拟 分 类 
问题 . 神经 网 络 见 图 5. 17. 
输入 Czi,z;) 服 从 [一 1,11 的 
均 勾 分布; 初始 权 数 WW 一 


Ty 
[1.1]x[ 一 1,1] 隐 机 和 
取 . 贞 上 面 讨 论 的 结果 , 环 吕 同 输 图 5.17 Kosko 神经 网 阁 
人 人 向量 苇 的 欧 江 空间 距离 越 近 ,下 
通过 竞争 被 归 为 了 类 前 可 能 性 越 大 . 通过 24 982 次 竞争 学 习 后 ， 
青 竞争 学 习 的 模拟 输出 结果 如 示意 图 5. 18, 其 中 时 轩 部 分 表示 对 
应 的 研 中 在 以 后 竞争 学 习 的 变化 区 域 . 

无 监督 学 习 的 另 一 类 应 用 是 根据 自 适应 谐振 理论 (ART) 构 
成 的 神经 网 络 , 关 心 的 读者 可 以 参考 文献 [10]. 
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图 5.18 24 982 欢 竟 争 学 习 的 模 所 示意 图 


5.5 反馈 型 神经 网 络 


反锁 型 神经 网 络 (feed-back neural networks) 的 一 般 结 构 如 
5.19. 


图 5.19 上 反 蚀 型 神经 网 络 的 一 般 结 构 


即 神经 元 之 闻 的 信息 传递 美 篆 不 再 是 从 一 层 到 另 一 县 ,而 是 各 神 
经 元 之 间 存 在 着 联系 . 反馈 型 神经 网 络 有 连续 和 离散 系统 丙 类 ,证 
要 取决 于 用 微分 方程 模型 还 是 用 差分 模型 描述 . 
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5.5. 1 连续 系统 神经 网 络 


记 : 时刻 第 i 个 神经 元 接受 到 的 信息 量 为 Zi(D) ,信息 量 的 变 
化 为 
ED ag) + LO + dwt), 
de 全 (5. 28) 
VD = fa i 112， 
其 中 ,y,() 为 :时刻 第 i 个 神经 元 的 输出 ;CE) 为 1 时 刻 7 神经 元 
的 外 部 传递 信息 ;4 是 一 个 正 数 ,表示 退化 系数 jzw 表 示 两 个 神经 
元 i 和 7 相连 的 权 数 . (5. 28) 是 一 个 动力 系统 方程 . 连续 系统 神经 
网 络 要 求 (5. 28? 式 中 函数 s( 区 有 很 好 的 光滑 性 . 下 面 给 出 动力 系 
统 的 一 些 基 本 术语 和 概念 . 
动力 系统 微分 方程 组 可 以 简单 记 
dz(2) 
dr 
其 中 ,z( 提 一 (zt ,zz0) ,zl2) DT. 
定义 5.1 平衡 点 
如 果 


一 gt{z,t), (5. 20» 


E(t) = DY i 

则 称 zx 是 动力 杀 统 的 平衡 点 ,也 称 z, 为 吸引 子 . 

定 5.2 稳定 性 

满足 下 列 条 件 的 平衡 点 z. 称 为 稳定 点 : 

任 给 s>0 和 闻 0 存在 fs,to)m>0, 当 上 加 | mm 一 z 二 
人 (st 时 ,有 

| zfsz0sto) — Zz, | 

其 中 ,z(zizoyt) 表 示 以 mm 为 起 始点 ,6 为 起 始 时 间 满 足 (5. 29) 的 
一 条 参数 曲线 . 称 系统 (5. 29) 在 z, 为 稳定 的 . 

定义 5.3 斯 近 稳 定性 
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满足 下 列 条 性 的 稳定 点 xz 是 渐 近 稳定 点 : 
全 给 志 实 0, 存 在 566) 守 0;, 当 2 一 z | < 之 x06) 时 ,有 
Jims 人 zzzoyt) 一 之 . 

称 系统 (5. 29) 在 点 z 为 渐 近 稳定 的 . 

定义 5.4 上 吸引 域 

满足 下 列 条 件 的 点 zo 组 成 的 集合 称 为 平衡 点 z, 的 吸引 域 ; 

存在 0 和 #0)>0, 当 中 zo 一 z. | 过 w(t6) 时 ,有 

limz (ts20,t0) 一 2.. 

反馈 型 神经 网 络 的 平衡 点 .平衡 点 的 稳定 性 和 吸引 域 性 质 的 
研究 方 沙 ,主要 是 通过 研究 动力 系统 和 和 与 它 对 应 的 Lyapunov 能 
量 议 数 的 性 质 . 连续 动力 系统 与 离散 动力 系统 有 很 多 相似 之 
处 2, 因此 连续 动 万 系统 是 反馈 型 神经 网 研究 的 一 个 基础 . 从 物 
理学 的 角度 有 这 样 的 现象 : 随 着 系统 的 运动 ,其 储存 的 能 量 随时 间 
的 增长 而 衰减 ,直至 趋 于 能 基 极 小 的 平衡 状态 . 由 此 原理 ,反馈 型 
神经 网 络 研 究 一 般 采 用 稳定 人 性 的 Lyapunev 第 二 方法 ,或 称 直接 
法 , 它 首 先 给 出 微分 方程 和 对 应 的 能 量 沙 数 或 广义 能 量 函 数 , 或 称 
Lyapunov 函数 ,在 研究 函数 的 特性 后 ,可 以 不 用 求解 系统 的 运动 
方程 ,而 给 出 系统 平衡 稳定 性 的 信息 .采用 连续 动力 系统 研究 确定 
性 神经 网 络 的 典型 是 Hopfield 人 工 神 经 网 络 喇 . 

Hopfield 利用 模拟 电子 线路 功能 构造 了 反馈 型 人 工 神经 网 络 
的 电路 模型 ,建立 的 能 量 函 数 表 达 式 为 

五 (7) 一 一 3 > wyiy 十 2 codz 一 Zl 


{5. 30) 
其 中 ,y== 记 (tw,) ,让 为 Sigmoid 函数 ,tw 为 i 和 j 两 个 神经 元 的 权 
数 , 电 路 中 连 线 的 电导 具有 对 称 性 w,, 一 wj ;Ri 是 模拟 电子 组 路 电 
阻 的 大 小 ,= 为 第 这 个 神经 元 的 接受 值 , 天 为 外 部 偏 填 电 流 输 人 
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信 ， 六 庆 六 /iCrydx 称 为 增益 项 
《5. 30) 的 能 量 函 数 对 应 一 个 动力 系统 


dz < 
-一 一 4 ，， 了 了 
| di < 为 二 (5. 31) 
Vs = f(x), 一 1 2 :2 
其 中 4 是 与 Ri 有关 的 一 个 常数 , 当 R==R>0 时 ,4 二 1/R. 
《5. 30) 与 (5. 31)7 有 如 下 美 系 
dE 
一 可 一 ay 《5. 32} 
由 (5. 30)、(5. 31) 和 (5. 32) ,得 到 
dE a ys; dz, 也 二 dz; 也 4 2 
dr 和 2 yd dd 之 | 让] 
a , (5. 33) 
dl Ydy'? 
bp fi | 守 | 0. 


dy 


1 一 1] 
特别 当 守 一 0， (一 1,2.…) 时 ,是 一 0 


定理 5.2 若 (5.30) 是 正定 能 重 函 数 ( 即 对 Y y 了 关 0, 有 ECy) 


>0), 且 满足 所 二 0. 则 系统 (5.31) 的 任何 一 个 平衡 点 是 稳 


定 的 ， 

证 明 可 以 参见 文献 -13]]. 

Lyapunov 第 二 方法 的 基本 思想 是 ; 先 给 以 一 个 动力 系统 ,而 
后 构造 对 应 的 Lyapunov 函数 ,通过 对 Lyapunov 函数 的 研究 来 确 
定 动力 系统 的 稳定 性 . 一 个 系统 前 Lyapunov 范 数 不 具有 唯一 性 ， 

Lyapunov 函数 的 最 简单 形式 为 二 次 型 

五 (7] 一 YBy, 

其 中 8 为 实 对 称 阵 . 而 矩阵 B 的 元 素 有 待 确 定 , 如 (8 30) 可 以 
写成 
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五 一 FTB7 十 >) 部 | 六 rdz 一 DLsy., 
r -1 1 i=1 - 
十 -个 二 次 型 :其 中 ， 
B= C0 on 上 一 yr yas 


由 定理 5.2;, 要 使 45. 30) 正 定 的 一 个 充分 条 件 为 召 矩 阵 是 正 
定 阵 . 

Lyapunov 清 数 方法 研究 的 是 每 一 点 及 邻 域 的 变化 情况 ,除非 
次 数 有 非常 好 的 特性 ,- - 般 情况 下 所 研究 的 结论 都 是 局 部 性 的 . 

从 (5. 307) (5.31)、(5. 32》 和 ({5. 33) 的 推导 看 出 ,Hopfietd 神 
经 网 络 模型 正 是 Lyapunov 第 二 方法 的 应 用 . 第 一 步 是 根据 实际 
问题 构造 能 量 函 数 ,然后 利用 电路 系统 的 背景 建立 (5. 31) 的 动力 
系统 方程 ,其 次 再 利用 动力 系统 方程 的 计算 ,求解 平衡 点 . (5. 33) 
表明 , 随 着 时 间 的 推移 ,能 量 画 数 逐 新 下 降 . 当 (5. 31) 的 系统 方程 
组 达到 平衡 点 时 ,(5. 33) 也 降 到 了 一 个 能 量 函 数 的 导数 为 9 点 .网 
络 达 稳定 状态 时 ,能 量 巨 为 极 小 值 , 于 县 Hopfield 神经 网 络 在 组 
侣 优化 阿 题 中 的 计算 归结 为 下 面 的 计算 步骤 . 


Hopfield 神经 网 络 的 计算 步 票 

STEP1 和 针对 实际 的 组 合 优 化 问 题 构造 能 量 函 数 , 使 得 能 量 函 数 
有 好 的 稳定 性 ,如 具有 正定 二 次 型 形式 ; 

STEP2 由 能 景 函 数 ,根据 (5.32) 的 关系 求解 出 动力 系统 方程 
《5. 31)s 

STEP3 用 数值 计算 前 方法 求解 动力 系统 方程 (5. 31) 并 解 出 平 
衡 点 ,具体 的 计算 求解 方法 可 以 参见 常用 的 软件 , 如 
Mathlab 5.0* 由 定理 5.3 知 平衡 点 为 稳定 点 ,达到 极 
小 值 . 
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Hopfield 通过 一 个 电路 找到 了 人 . 工 神 经 网 络 的 微分 方程 
(5.31) 和 人 能量 晴 数 (5. 30) 的 对 应 关系 , 寻找 一 个 微分 方程 的 
Lyanupov 能 基 画 数 并 不 容易 ,这 也 因此 成 为 很 多 理论 工作 者 研究 
的 一 个 方向 . 就 对 55. 31) 的 微分 系统 , 当 一 些 参 数 条 件 变 化 时 , 研 
究 它 的 稳定 性 角 然 对 实际 应 用 有 重要 的 指导 意义 . 文 [14] 研 究 了 
连接 权 不 其 有 对 称 性 和 外 加 篇 填 电 流 工 与 时 间 参 数 上 有 局 期 输入 
的 人 工 神 经 网 络 , 得 到 该 网 络 周 期 吸引 子 的 存在 性 . 


5. 5. 2 Hopfield 人 工 神经 网 络 在 TSP 中 的 应 用 


已 经 有 两 种 方法 表示 TSP 问题 的 解 ( 见 第 一 章 例 1.2 和 例 
1.8)，* 为 了 方便 神经 网 络 的 求解 ,本 节 用 第 三 种 方法 ,一 个 zxXz 和 上扬 
性 表示 TSP 的 一 个 解 ,第 i 行 表示 商人 到 达 该 城市 的 顺序 ,第 : 行 
由 0,1 数字 组 成 一 个 维 向 量 , 其 中 只 能 有 一 个 分 量 为 1,1 所 在 
的 序数 表示 商人 到 达 的 序数 . 如 向 量 (00010) 表 示 商 人 第 四 个 访问 
该 城市 . 

例 $. 4 四 个 城市 TSP 的 一 个 解 的 矩阵 表示 为 


1 2 3 4 


城市 1 
城市 2 
城市 3|1 0 0 

城市 410 0 0 1 


总 
0 


be 
请 
人 


它 表示 商人 行走 的 城市 硕 序 为 :3 一 1 一 2 一 4. 口 

从 上 例 中 可 以 看 出 ,第 三 种 解 的 表示 方法 采用 的 是 例 1.2 的 
思想 ,只 是 附 如 了 每 一 行 的 和 每 一 列 的 和 各 为 也 由 此 构造 一 个 有 
aX 个 神经 元 的 神经 网 络 .对 应 Ci, 让 位 置 的 神经 元 ,其 输出 为 
Yu; 输 人 为 sy* 两 个 城市 二 和 y 的 距离 是 ds,. 由 期 望 每 一 行 的 和 
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为 1 ,一 -个 等 价 的 结论 是 
El 一 yi Vy DO yy 《5. 34) 


为 零 . (5. 34) 中 包 , 二 0 的 含义 是 每 一 行 最 多 有 一 个 1. 可 以 全 为 0， 
同 理 要 求 神经 元 的 每 一 列 的 关系 式 


Es 一 > > DD yey (5. 35) 
二 二 | 全: 
要 保证 每 一 行 每 一 列 正 好 有 一 个 1, 理想 状态 是 
E= (5 ww (5. 36) 
为 零 . 


当 无, ,天 , 匹 ; 三 项 都 达到 理想 状态 也 只 保证 得 到 TSP 的 一 个 

可 行 解 ,而 TSP 的 一 个 重要 目标 是 得 到 一 条 费用 最 小 的 最 短路 
程 . 于 是 , 当 Qi 一 dw 时 ,考虑 使 下 列 形式 

E, = >， >») 了 uk 十 yu+1y， (5. 37) 


Ck YE 11 一] 
最 小 ,其 中 Pd 一 .Jam Mant Ya 由 神经 元 的 构造 {参考 例 5:4), 两 
相 邻 的 列表 示 商 人 行走 的 相 邻 城市 , 故 dw yywiil 表 示 城 市 4 和 vw 
之 间 的 距离 . (5. 37) 是 其 对 称 形式 . 


最 后 将 能 量 函 数 写 成 
A B | 
万 二 2E 十 2 Es 十 Es: + PE, + ok,, (5. 38) 


ABC,D,a 为 非 贷 常数 ,表示 Elis Es, EssE, ,Es 项 对 能 量 五 的 页 
献 大 小 . 按 (5. 30) 有 


由 (55. 32) 的 关系 ， 
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des, EE 
dt dy 


二 一 gz, 一 ADy,, 一 BY Vy 
jE 器 开 站 


和 cl >) Dy nj DY dyat 十 yw 17， 
和 


z=1 y=1 


Dur 一 fg) » ‘5. 39) 


(5. 39) 的 系数 整理 后 
Ww 一 一 461 一 上 一 BIT 一人) 
| 一 位 一 Ddtd,, + 6, 131), (5, 40) 
了 = nC, 
其 中 ， 
| l, #4 也. 一 0. 
0, 7, 
于 是 ,(5. 39) 写 成 了 (5. 31) 的 标准 形式 . 
上 面 的 讨论 将 求解 SP 问题 归 缚 为 Hoptield 计算 常规 步 怠 . 
由 《5. 38) 的 构造 .(5. 33) 的 推导 和 定理 5.3, 知 (5. 39) 的 平衡 点 是 
稳定 点 , 存在 的 问题 是 参数 a,4,8,C,D 的 选取. 这 些 参 数 的 选择 
是 实际 计算 中 的 难点 之 一 . DD 对 应 TSP 问题 的 目标 函数 项 ,应 该 
突出 ,但 局 时 希望 罚 值 4.8 和 C 尽 可 能 的 大 以 便 求 到 可 行 解 . 实 
际 计 算 中 常常 采取 多 组 参数 计算 比较 ,从 中 选择 好 的 解 .下 例 是 
Hopfield 给 出 的 神经 元 初始 值 和 参数 选取 的 规则 . 
例 5.5 Hoptieldi 在 求解 10 个 城市 的 TSP 问题 时 ,数值 计 
算 的 参数 选取 如 下 : 
a—=1l;4= B=D= 500,C = 200., 
Sigmoid 函数 为 
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Ym 一 Tz } 一 3 1 
le mo 
其 中 ,po 二 0. 02. 
初始 设置 yw 都 相等 ,使 得 
> Dy = 10, 


n=1 i=1 


即 期 望 最 终 的 输出 结果 使 得 每 一 行 和 每 一 列 只 有 一 个 输出 非常 接 


近 1. 用 初始 相等 的 yw 可 以 解 出 zo 一 一 学 In9. 给 zo 一 个 搞 动 
gu 一 zog 十 Frws 一 站 po TE rs STO. lms 

其 中 ,zu 为 [一 0. ia,0. 1p] 均匀 分 布 ,为 动力 系统 数值 计算 的 初 
始点 . 口 

Hopfield 的 开创 性 工作 是 给 出 求解 组 合 优化 问题 的 一 种 神经 
网 络 方法 ,但 其 不 足 也 是 显而易见 的 .第 一 是 参数 4,8,C,D,a 的 
选取 ,过 多 的 参数 增加 了 计算 的 工作 量 . 第 二 是 例 5.5 中 参数 mm 
的 确定 ,jw 较 小 时 ,使 得 S 形 曲线 有 较 好 的 识别 力 , 输 出 值 接近 0 
或 1, 但 初始 解 的 范围 较 小 ,因此 计算 收 敏 的 速度 慢 . 当 参 数 pw 较 
大 时 ,又 难以 使 输出 值 接近 0 或 1 ,使 得 路 径 的 撒 述 产生 混淆 . 第 
三 个 不 是 是 它 的 计算 量 和 收 敏 的 效果 . 由 于 它 的 能 量 函 数 (5. 38》 
实际 上 是 罩 函 数 , 馈 函 数 势 必 造 成 计算 量 的 增加 . 再 者 是 4,B,C， 
DD,a 五 个 参数 选取 难以 突出 TSP 的 目标 值 ,过 多 突出 D 会 加 大 
解 的 不 可 行 性 ,加 大 其 他 参数 会 忽略 目标 值 . 

根据 Sigmoid 沙 数 的 特性 , 当 mm 较 小 时 或 和 接近 0 或 1 时 ， 
3 的 变化 对 (5. 38) 的 总 能 量 影响 不 是 很 大 ,于 是 常见 作者 淮 略 妃 : 
这 一 项 ,省 略 后 (5. 38) 变 为 


_ 4 B 尼 D ， 
五 一 2 五 ， 十 2 五 : 十 2 Es 十 BE C5. 38 2 
用 神经 网 络 求解 TSP 问题 还 有 其 他 形式 的 能 量 籼 数 , 如 用 
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4 二 1 表示 商人 的 第 志 次 行走 是 从 7 城市 到 城市 , 则 能 量 函 数 ， 
1 2 Ba/ : 
EFD (Py) + (yy) 


i=] j=] #=] 


十 Sl > 2 ZY 和 a) 十 ?> 2 dy 
其 中 上 式 右 端 第 1 项 表示 城市 ; 恰好 进去 一 次 , 右 端 第 2 项 表示 
城市 定价 好 出 去 一 次 ,第 3 项 表示 只 有 一 条 路 径 ,第 4 项 为 行走 路 


线 最 短 . 
5. 5.3 离散 系统 神经 网 络 


遍 散 系统 神经 网 络 的 输出 值 一 般 有 如 于 关系 
FE 二 1 一 gO， 1ET= |i 守 tyi 为 整数 }， 
(5. 41) 
其 中 ,了 了 ( 乓 一 (tosft eye 如 采用 符号 函数 的 反馈 神 
经 网 络 , 其 关系 为 


pt 1) 一 sgnl ro 人 一 站 | ， 了 一 了 2 
it 


了 


《5. 42) 
记 
wo Dy) 0, 了 一 12 (5,43) 


连续 动力 系统 中 ,定义 5.1 的 平衡 点 z. 与 参数 1 无关 ,也 就 使 
得 输出 了 与 + 无关, 于 是 ,在 离散 动力 系统 中 ,可 以 用 输出 值 了 的 
特性 定义 平衡 点 . 
= g(t,,t), Yi€El, 
则 称 Y, 为 离散 系统 的 平衡 状态 . 
类 做 定义 世 .2 定义 5.3 和 定义 5.4, 只 顺和 将 原 定 义 中 的 时 间 
参数 :看 成 离散 的 就 可 以 定义 离散 系统 的 稳定 性 , 渐 近 稳定 性 和 
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吸引 域 等 概念 | 
在 离散 系统 的 神经 网 络 中 , 当 采 用 符号 激活 函数 时 ,Hopfield 

建立 的 能 其 函数 (5. 30) 变 为 
EQ) =— 3 Dewy DO, 《5. 44) 


1!=1] 一 i=1 


其 中 ,yy 一 有 (zn) 为 符 导 函数 ,tw 一 ww 为 1 和 ;神经 元 的 权 数 ， 
zi 为 第 i 个 神经 元 的 接受 值 ,I 为 外 部 输入 值 . 因为 (5.30) 中 的 


> fcaydz = 0 ,因此 删 去 这 … 项 . 
由 (5. 43), 得 到 能 量 函 数 (5.44) 对 应 的 -- 个 动力 系统 为 


wt De) = wytt) — &, 
了 一 上 


(5, 45) 
3 各 =f.{2:) 了 


1 1] 2 


《5. 45) 的 动力 系统 方程 转化 为 
Ytt 十 1» 一 /Al oo 一 | z 一 ly" ?并 ? 


其 中 下 如 (5.42) 的 符号 函数 . 本 节 仅 以 符号 函数 研究 它 的 稳定 
性 , 故 以 45. 42) 进 行 研 究 ， 

从 算法 的 梅 造 上 ,可 以 采用 同步 和 异步 两 种 形式 .所 谓 异 步 算 
法 ,是 指 每 次 上 只 调整 一 个 神经 元 ,可 表达 为 
| yt 二 1) =sgn{ 9) 一 8 ]】 ， (5.46) 

3 人 十 1) 一 yi 地， 7 

它 的 售 义 是 :在 一 步 款 代 中 ,只 有 第 :个 神经 元 发 生变 化 ,而 其 他 
神经 元 保持 不 变 , 每 次 被 调整 的 神经 元 i 随机 选 定 . 

同步 算法 指 同一 时 刻 对 所 有 神经 元 同时 调整 ,表达 式 为 


第 5 章 人 工 神经 网 络 235 


Ylt + 1) = sgn | 了 rp) 一 - 8) ; = 112 Nn, 
例 5.6 二 个 神经 元 的 友 馈 网 络 的 权 数 为 


tt 1 2 
环 一 |1 0 3|， 
3 0 


在 上: 时 刻 , 一 组 输出 FQ 二 (1,0,1) ,每 个 神经 元 的 遍 值 都 为 3. 在 
第 上 十 1 时 刻 , 同 步 算 法 使 得 每 个 神经 元 接受 到 的 值 为 
名 性 十 1) 一生 Fi 一 站 一 (24 27 — (3,3,3)7, 
同步 算法 在 t 十 1 时 刻 的 输出 为 
人 十 JJ 一 .ZEG 十 1 一 50,1,0)7， 
异步 算法 的 计算 为 ; 当 1 十 1 步 迭 化 选择 第 一 个 神经 元 时 ; 它 
的 接受 值 为 
直人 十 1 一 1012)70) 一 站 一 一 1， 
所 以 ,1 时 刻 神 经 元 的 输出 为 
YE 二)= 0 y(t 1) =0, yi 人 十 17 一 ]1， 
FE 1)= (0,0,1).. 
车 t 十 2 步 选 代 选 择 第 二 个 神经 元 变化 时 ， 


0 
sat oODFGE+t 1 = (0,0,3) |- 3 二 0， 
“ 1 
所 以 
3 加 他 十 2 一 0 人 十 2 一 0 人 十 2) 一 1， 
了 侍 十 2) Oo= (0,0,1).. 
车 t 十 3 步 选民 选择 第 三 个 神经 元 变化 时 ， 


0 
2 二 3) 一 (2 和 3 0) 下 储 十 2) 一 外 一 (2,3,0) |- 3 二 一 3， 
1 
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所 以 
TI 十 3 一 0 十 3 一 0075 人 十 3) 一 0， 
YO 3) = (0,0,0). 

最 浇 异 步 算 法 采用 上 面 例 中 相 邻 的 三 次 近代 述 到 同步 算法 对 
三 个 神经 元 进行 的 计算 ,但 输出 结果 (0,0,0) 与 同步 算法 的 输出 结 
果 (0,1,0) 的 差别 是 显而易见 的 . 

从 例 5.6 可 以 看 出 同步 算法 与 异步 算法 的 区 别 . 

由 于 同步 算法 的 变化 同 连续 系统 的 变化 规律 相同 ,因此 同步 
算法 的 稳定 性 与 连续 系统 的 稳定 性 (定理 5.2) 有 相同 的 结论 . 

定理 5.3 若 (5. 44) 中 的 权 数 儿 是 正定 矩阵 ,采用 符 导 函数 
的 同步 算法 的 平衡 点 是 系统 (5. 45? 的 稳定 点 . 

证 明 记 (5. 44》 


EQ) 一 一 二 TCDOWY CD + FT), 


人 —E(t+1) — EQ), 
人 (2) 一 了 人 十 1) 一 了 人) = CAy DD, Ayslt) ye Ay (lt), 
于 是 ， 


AEC) =— AYTOOWYTG) 一 6 FAY' (WAYG), 《5. 47) 


令 


Zt 1) = WY — 8= Ct zatt tt 1) yr se, (t+ 1))7, 
当 = 他 二 1320 时 ， 
yt 二 1D= Fz 1))=1, 
得 Ay 站 宇 0, 推 出 Ay (2s 十 1) 守 0, 
当 z(t 十 1) 所 0 时 ， 
y+ = F(t 1)) = 0, 
得 4y,<) 寺 0, 推出 Ay, (1x 十 1 这 0. 
综合 上 面 的 讨论 ， 
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一 47 KK 和 了 (人 一 全 扫 0 
由 定理 中 全 为 正定 的 条 件 , 当 A7 (六 天 0 时 ， 


4EG) =— AVT() WYG) — 0) — SAYT™OWAY CU) < 0. 


因此 ,由 定理 5.3, 任 何 -- 个 平衡 状态 为 稳定 的 . [1 

离散 系统 的 异步 算法 有 别 于 连续 系统 的 神经 网 络 ,我 们 在 此 
专 邱 讨论 . 在 以 下 的 讨论 中 , 特 假定 下 列 条 性 满足 ; 

DW 是 对 称 的 n 阶 方 阵 , 自 zs 六 0) 

By E 10,1}; 

他 符号 函数 为 
l1， 工 汪 0， 
0， 其 它 ， 

此 好 的 符号 薄 数 有 别 于 前 面 的 函数 定义 , 它 反 xz 二 0 的 点 赋 
了 予 值 1. 

定理 5.4 若 能 量 画 数 (5.44) 有 下 界 , 则 对 任意 的 初始 状态 ， 
满足 上 面 假设 的 异步 Hopfield 算法 ,最 禾 收 全 到 一 个 平衡 状态 . 

证 明 按 蜡 步 算法 任 选 一 个 神经 元 i; 变化 

AYO) = CO ,Os Ay, CE) ,Os 0)T, 

于 是 ,(5. 47) 等 价 于 


AE() =— Ay OF Pw,ystt) — |— ena) 
一 上 


sgntz) 一 


] C5. 48) 
=— Ay() [z+ DD) 十 二 wuay(CD | 

按 4y(2) 的 取 什 分 下 列 情 况 讨 论 : 

CASEL Ay(t)}—0, 即 yt1) = y(t); 

CASE2 Ay()=1, WB yt)=1, y=0; 

CASE3 6 一 一 1， 即 和 人 二 17 一 0 四) 一 1 

下 面 按 上 面 的 三 种 情况 分 别 讨论 . 


238 现代 优化 计算 方法 


CASE1 Ay,t)= 二 0 推出 AEG) 二 0. 

CASE2 由 Ay,(1)==1， 

Ft 二 ol y= 0 yt 二 1) = sgn(z(t + 1))，, 
得 到 

zi 十 1]》 守 0 

再 由 ,20 得 AFE() 志 0. 

CASE3 4 一 一 时 ,rtC 二 1) 一 0 人 一 1 由 上 面 新 
给 的 有 关 符 号 函数 的 假设 ,推出 z{f 十 1) < 过 0 及 4)<c0. 

采用 异步 算法 ,由 王 ( 纺 的 非 增 性 ,经 过 一 定 的 选 代 后 ,将 达到 
(2 不 再 下 降 . 此 时 有 AE() 一 0. 车 满足 Ay() = 二 0,Y i 则 YY 了 (2) 
为 一 个 平衡 点 . 但 条 件 Ay.(2)= 二 0,Y i 不 满足 时 ,由 上 面 的 三 种 情 
总 讨论 ,存在 ;使 得 Aytt)>0 且 


zt 十 1 十 Den Ay. 人 =0. 


由 此 而 得 到 
wt 二 1) = 0, w= 0. 
此 时 记 
H= {y(t+ 1 =1,%() = 0,%0 4 1) = Ow = 0}, 
则 对 五 中 的 任何 一 个 神经 元 再 迭代 一 次 ,就 达到 
y= y+ 2 =1, 

对 于 已 经 满足 平衡 的 集合 J 二 和 | Ay,(2) 一 0), 经 过 上 面 的 一 
次 近代 后 ,再 对 J 中 的 神经 元 先 代 (第 rt 次 ) 是 否 会 出 现 不 平衡 ?不 
平衡 的 情况 为 

全 (一 0 二 1 一 0， y(n)=1, yri+1)=0; 

二 y=y1)=0, y=0, y(r+1)=1; 

y= =1, y(n)=0, y(ril)=1; 

BD yy =, yr =1, ylri+1)=0., 

由 CASE1.2.3, 每 次 选 代 中 的 能 量 函 数 都 是 非 升 的 结论 和 此 
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时 能 量 函 数 对 任何 神经 元 远 代 不 再 下 降 , 则 知 吕 和 人 是 不 可 能 发 
生 的 .而 他 各 又 归于 五 中 的 情形 , 因 神 经 元 个 数 有 限 ,最 后 -- 定 


达到 全 部 平衡 . 口 ] 
由 离散 系统 所 具有 的 特 人 性, 类似 定 尽 5.2 和 定 兴 5.3, 即 可 定 
义 离散 系统 的 稳定 性 和 淅 近 稳 定性 . 


定义 5.5 YE 10,1}’ 的 邻 域 为 
NT) = 1 + deli = 12 ,nm), 
其 中 ,e, 表示 第 i 个 分 量 为 1 其 他 分 量 为 0 的 维 向 量 ， 
| 一 1， 当 和 一 1， 
1， 当 欠 一 和 
车 能 量 函 数 在 了 * 满 足 
EY) EDT),YY EE NY'), 
则 称 了 "为 邻 域 wCF7 的 能 量 极 小 点 ,简称 能 量 极 小 点 . 
离散 系统 揭 邻 域 同 组 人 台 壹 化 问题 的 一 类 邻 域 定 义 相 同 ( 第 1 
章 1.3 节 ), 因 此 可 以 相似 地 给 出 离散 系统 的 其 他 邻 域 定义 . 
定理 5.3 车 Gf 十 1) 一 0 时, 定 祥 yt{z 十 1) 二 $l7), 则 每 个 
能 量 极 小 点 为 平衡 点 . 
证 时” 记 能 量 极 小 点 为 了 


2 = Dy 一 有 (2 一 Fe ao 一 (2 一半. 
7 一 ] 


若 为 平衡 点 , 则 结论 成 立 . 当 某 一 个 神经 元 i 不 平衡 时 , 记 神 
经 元 的 能 量变 化 为 43E,, 则 由 (5, 48) 有 


4 一 一 Ay: [ > mo 一 六 十 BAy | 


i=1 
二 一 让 Es 十 吝 wi6: |. 


按 定理 5.4 证 盟 中 讨论 的 三 种 情况 和 zx 人 二 1) 一 0 时 ,定义 yy 
好 十 123 一 不 平衡 的 可 能 有 


240 现代 优化 计算 方法 


CASE1 =] 时 ,yi 一 0, 则 
zi 十 pa < 0, 


由 swv 关 6 的 条 件 ,推出 六 委 0, 进 面 推出 
0， 当 z? 过 0， 
y.{2) = fet) -| 人 当 呈 一 
于 是 ,yxy.(2) 一 yr" ,与 不 平衡 矛盾 . 
CASE2 5 一 一 ] 时 ,一 1, 则 
Ea 于 ro 0, 2 守 
进而 推出 
(2) = fi ) -| 0 
于 是 yj(2) 一 yi ,与 不 平衡 也 盾 . 
综合 CASEL 和 CASE2 的 讨论 ,得 到 YY’ 是 一 个 平衡 点 ， 口 
虽说 能 量 函 数 的 极 小 点 是 一 个 平衡 点 ,但 是 否 是 一 个 稳定 点 
或 是 一 个 新 近 稳 定点 ?从 极 小 点 邻 域 中 的 一 点 出 发 ,在 计 么 样 的 条 
件 下 才能 回 到 这 个 极 小 点 ?由于 离散 系统 的 特性 ,定义 了 如 弱 吸 引 
等 概念 ,由 此 ,得 到 相关 的 结论 ,在 此 不 介绍 这 些 内 容 , 感 兴趣 的 读 
者 可 参考 人 工 神经 网 络 算法 的 专著 , 匈 文 献 L10]. 
定理 5,6 若 离 散 系 统 神经 网 络 的 权 符 阵 对 角 线 还 满足 diag 
《WD 一 50,0,"…,0), 则 网 络 的 所 有 平衡 点 为 能 量 隧 数 极 小 点 ， 
证 明 记 平 奖 点 二 Cy? yy2 ,yi ) ;从 了 ' 的 邻 城中 任 选 
一 点 ,不 芒 设 为 第 ;个 神经 元 变化 , 则 出 (5. 48}) 能 量变 化 为 


AFE, =— 6., | = 十 了 = 一 7. 


当 二 1 时 ,yi 二 0, 由 平衡 点 的 性 质 yt20 = f(s ) 二 0, 知 Ey 
< 由 此 得 到 AE: 守 0. 
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当 = 一 1 村,y" 二 1， 出 平衡 点 的 性 页 C2)= flzr 二 1; 知 
z+ 0, 由 此 得 到 AE. 守 0. 
综合 上 面 两 点 ,平衡 点 为 能 量 函 数 极 小 点 . 日 


Hopfield 神经 网 络 异 步 算法 的 基本 步 电 为 

STEP1 人 和 任 选 一 个 初始 状态 了 C0)€ {0,1y"; 

STEP2 随机 选 一 个 神经 元 , 按 (5. 46) 更 新 状态 ; 

STEP3 检验 了 (是否 为 网 络 的 平衡 点 ,若是 , 转 STEP4; 和 理 则 ， 
转 STEP2; 

STEP4 输出 了 GQ), 


Hopfield 神经 网 络 与 -电路 相对 应 ,因此 在 硬件 上 有 实现 的 
可 能 , 故 有 很 好 的 发 展 前 景 . 该 方法 能 量 函 数 的 建立 相对 简单 ,可 
以 应 用 于 组 合 优化 问题 及 识别 问题 . 

由 于 构造 的 能 量 函 数 有 局 部 极 值 点 ,因此 可 能 收 伍 到 局 部 最 
优 , 特别 是 能 量 函 数 中 的 参数 选取 ,如 TSP 中 的 4.B.C 和 万 , 决 
定 收 僵 的 速度 、 收 合 的 效果 . 因此 ,选择 参数 时 要 求 应 用 人 人 员 有 很 
高 的 技术 性 和 对 问题 有 较 深 的 了 解 .在 实际 应 用 中 ,通常 处 理 的 方 
法 是 大 量 计 算 , 以 尝试 找到 上 比较 好 的 参数 搭配 . 

正 因为 存在 局 部 极 小 点 ,因此 梁 用 数值 计算 的 方法 就 无 法 六 
免 落 入 局 部 极 小 . 于 是 相关 的 吸引 子 性 质 研究 成 为 理论 研究 的 热 
点 . 在 算法 的 实现 上 ,为 了 避免 局 部 极 小 ,采用 与 模拟 退火 ,遗传 算 
法 等 相 结 合 的 方法 . 


s$. 5.4 变形 算法 一 一 TSP 中 的 应 用 


变形 算法 (elastic net method) 是 反馈 型 神 经 网 络 在 组 合 优 化 
何 题 中 的 一 种 应 用 , 它 来 源 于 Kohonen" J 的 自 组 织 影 射 模 型 .在 
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这 种 息 尘 中; 组合 优化 问题 的 任 一 实 课 数据 为 网 络 的 输入 ,在 进化 
过 程 中 ,网 络 夏 改 它 的 连接 权 . 我 们 在 此 介绍 变形 柑 型 的 一 个 应 用 
一 -TSP 中 的 弹性 网 络 0 一 -来 理解 恋 形 算法 的 基本 原理 . 
假设 TSP 的 ni 城市 位 置 为 := CT Ta Tn) tO—1, 2 
un; 其 中 澡 为 空间 的 维 数 . 在 这 个 空间 中 给 以 人 > 个 临时 点 
了 .一 (3oly ya 一 2 我 们 期 望 将 临时 点 局 城市 
位 置 匹配 使 得 ;每 个 城市 仅 同一 个 临时 点 匹配 且 这 些 净 时 点 形成 
的 闭路 满足 221Y, 一 .41| 尽 量 小 ,其 中 .一 .车 当 城 市 ? 同 临 
时 点 a 匹配 , 则 定义 一 个 变量 5 二 1, 否 则 56 一 0. 于 是 可 以 给 出 下 
列 的 能 其 订 数 
ECsas¥) 一 站 DT 一 了 | 十 DD | 了 一 Yul. 
(5.49) 


《5. 49? 的 第 一 项 的 功能 是 匹配 ,需要 满足 2,se= xu. 当 已 经 匹配 且 
工 浙 近 零 的 时 候 ,(5. 49) 的 第 二 项 功能 是 使 得 这 些 临时 点 形成 的 
闭路 尽 基 小 且 点 的 分 布 尽量 均匀 - 由 于 Y. 和 se 是 变量 和 se 求解 的 
难度 ,用 另 - -个 效用 能 量 函 数 


Ey =—T lognl De ss) 4 YH, yt’, 


(5. 50) 
使 其 达到 最 小 . 
在 (5.50) 中 ,从 右边 的 第 一 项 看 出 , 当 每 一 个 和 都 有 一 个 临 
时 点 与 其 匹配 时 ， 
Dy ip272 2 | 对 YT 一 De- TT kT 0, 


寻 丰 本 
其 中 ,af 表示 同 瑟 ， 匹配 的 临时 点 集合 过 为 同 下 匹配 的 临时 点 个 
数 . 此 时 , 当 工 趋向 零 时 ,(5, 50) 右 端 第 一 项 的 值 接 近 零 . 当 存 在 
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一 个 多 .没有 一 个 临时 点 与 其 四 配 时 ,由 7e-%-71277-0,T->0， 
推出 (5.50) 右 端 第 一 项 随 着 了 的 趋向 零 而 增加 ,因此 需要 继续 优 
化 .55.50) 右 端的 第 二 项 要 求 N 个 临时 点 形成 的 闭路 尽量 小 和 尽 
可 能 在 闭 路 上 均 久 分布. (5. 50) 中 只 有 了。 为 决策 变量 .能 量 函 数 
的 梯度 为 


aE, {YF,) | 
~ 二 --- 2 一 了 7 上 YC27。 一 了 一 了 )， 


其 中 ， 


(5. 51) 


wrt 了 os) 对 变量 了, 的 下 降 梯 度 为 


Ay. = 1 EY) 


让 


， 了 77 宇 0 的 参数 . (C5. 52) 


由 于 亚 .rr( 了 .) 是 一 个 非 线性 函数 , 且 具 有 光滑 性 . 采用 梯度 下 
降 方向 的 选 代 算 法 收 笋 到 局 部 最 优 要 求 了 满足 一 定 的 条 件 , 在 此 
不 进一步 讨论 ,关心 这 一 部 分 内 容 的 读者 可 参考 非 线 性 规划 的 有 
关 论 著 , 如 文献 [17, 第 2 章 ]. 具有 变形 算法 在 TSP 中 的 应用 一 
弹性 算法 的 基本 变化 可 以 由 图 5. 20 描述 . 

图 5. 20 描述 了 弹性 算法 计算 时 变化 的 四 个 阶段 . 图 中 * * ” 表 
东城 市 的 位 置 , 初始 时 在 城市 的 重心 位 置 的 一 个 小 圆周 上 ,所有 临 
时 点 均匀 分 布 其 上 ,如 图 5,20(a) 所 示 . 经 过 车 于 次 选民 ,这 些 临 
时 点 向 各 城市 舍 近 ,就 如 同一 个 橡皮 图 被 拉 向 各 城市 一 样 ,这 种 恋 
化 如 图 5. 20 中 的 (b) 和 (c) 变 化 一 样 . 最 后 ,在 理想 情况 下 ,每 个 城 
市 都 有 临时 点 匹配 旦 其 他 点 按 距 离 均匀 分 布 在 这 些 匹 配点 过 成 的 
线段 上 ,就 如 同 图 5 20(q) 所 示 . 
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妇 到 大 和 网 和 
二 太 
oO, CO, 
+ 二 
fa (by 
此 
和 交 * /7 
* | 
、 * x 


te) ‘dy 


图 5.20 强人 算法 的 基本 变化 


TSP 的 弹性 算法 如 下 
STEP] 给 定 TSP 实例 nn 个 城市 的 坐标 {| 二 1 ,2,"…,n}; 
STEP2 选 -个 比 n 大 得 多 的 临时 点 数 入; 
STEP3 选择 合适 的 参数 >. 初始 温度 T。 和 初始 步 长 参数 六 
STEP4 求 {Xi|i 一 1,2,…,n} 的 重心 ;随机 将 了 一 Cy) Yass 
Ym) 4 二 1] ;2, ,NN 均 名 地 布 在 以 重心 为 略 心 的 一 个 
小 贺 周 上 ; 
STEP5 在 算法 没有 达到 停止 条 件 前 ,重复 以 下 计算 ， 
a， 更 新 临时 坐标 了 为 
了 (7 一 了 (TIT 十 AT CT 1)， 
其 中 , 心 r.(T 由 55.52) 计 算 ; 
b. 7 :一 :十 1 了 一 AT ICO<eass1). 


变形 算法 为 什么 可 以 认为 是 反馈 型 神经 网 络 ? 第 一 是 因为 将 
下 | 一 12 和 临时 点 看 成 神 经 元 . 第 二 是 因为 va 可 以 看 成 
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神经 元 ?2 和 ea 的 权 数 , 当 癌 题 的 参数 | 芋 上 一 1，2 2} 输 人 后 ,这 
- 权 数 由 (5. 51) 随 着 了 一 Cy yoyorn} va 二 1.2 路 yA 的 改 
弹性 网 络 潜 适 人 台 于 履 氏 距离 为 费用 的 TSP 问题 ,Petersont*] 
将 这 一 算法 应 用 到 TSP 并 对 大 基 暴 型 数据 进行 计算 比较 ,发 现 此 
算法 的 效率 较 高 且 临 时 点 的 个 数 也 较 小 六 一 22， 
变形 算法 的 特点 是 模拟 橡皮 轿 被 拉 时 的 变化 过 程 ,分 别 建 立 
了 《5. 50) 和 (5. 52) 的 能 量 函 数 和 下 降 梯 度 。 在 此 介绍 这 个 算法 的 
日 的 是 希望 读者 能 将 这 -- 种 思想 在 其 他 实际 问题 中 得 以 应 用 . 


练 习 题 


1. 前 向 神经 网 络 适合 哪些 组 合 优化 问题 ? 这 些 问题 可 否 用 反 
局 型 神经 网 络 处 理 ? 举例 说 明 . 

2. 反馈 型 神经 网 络 适合 求解 慎 么 样 的 组 合 优 北 问题 ? 它 在 哪 
些 方面 比 前 向 型 神经 网 络 有 优越 性 ? 举例 说 明 . 

3. 按 例 5.5 的 各 参数 设 定 实现 Hopfield 神经 网 络 算法 在 
TSP 的 应 用 ,是 否 能 得 到 与 文献 [4] 相 类 似 的 结果 ? 

4. 比较 Hopfield 神经 网 络 和 变形 算法 在 TSP 的 应 用 效果 . 

5. 就 你 关心 或 实际 遇 到 的 组 合 优 化 问题 用 神经 网 络 方法 求 
解 . 试 局 其 他 诸如 禁忌 搜索 .模拟 退火 .遗传 算法 等 进行 计算 结果 
比较 . 
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第 6 章 
拉 格 朗 日 松弛 算法 


当 一 个 组 全 优化 问题 被 判别 为 NP-complete 或 NP-hard ,日 
前 解决 这 个 问题 的 常用 方法 是 构造 启发 式 算 法 ,求解 尽量 接近 最 
优 解 的 可 行 解 . 这些 算法 包括 第 2 章 至 第 5 章 的 局 部 搜索 算法 . 禁 
鼠 搜 索 . 模 拟 退 火 . 遗 传 算法 和 人 工 神经 网 络 等 等 . 以 极 小 优化 日 
标 现 数 为 例 , 这 些 算法 给 出 的 都 是 最 优 值 的 上 界 ,第 1 章 的 1.4.2 
节 给 出 这 些 算法 的 目标 值 同 最 优 值 关系 的 示意 图 如 下 ; 


一 步 法 的 目标 什 

改进 法 的 目标 什 可 

基于 数学 规划 :分 支 定 界 启发 式 , 荐 平面 启发 式 , 线 | ”和 标 
性 规划 松弛 再 对 解 可 行 化, 拉 格 开 日 松 驰 可 行 | 竹 
化 等 的 目标 值 ， 

现代 优化 算法 : 蔡 忆 搜索 . 覃 拍 退 火 ,遗传 算法 .人 工 
神经 网 络 等 的 月 标 值 

其 它 :如 限制 解 空间 ,分 解法 ,组 合算 法 等 的 目标 人 


"| 最 优优 
下 界 算法 ， 
线性 规划 松 驰 , 拉 格 朗 日 松 驰 等 的 目标 值 


评价 一 个 算法 好 坏 的 一 个 标准 是 考察 它 所 计算 的 目标 值 同 最 
优 目 标 值 的 差别 . 由 于 组 合 优化 问题 的 难度 ,求解 最 优 值 是 非常 困 
难 的 . 解决 这 个 难点 的 一 个 有 效 方法 是 通过 计算 下 界 , 用 上 界 和 下 
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界 的 莽 米 评价 算法 , 拉 格 朗 日 (Lagrange) 松 弛 算法 就 是 求解 下 界 
的 一 种 方法 .由 于 拉 格 庆 日 松弛 算法 的 实 瑰 比 较 简单 和 有 比较 好 
的 性 质 , 它 椒 仪 可 以 用 来 评价 算 世 的 效果 ,同时 可 以 用 在 其 他 算法 
中 ,以 提高 算法 的 效率 . 拉 格 妆 日 检 弛 算法 包 傅 两 部 分 内 容 ;一 方 
面 是 提供 下 界 , 另 一 方面 则 演变 为 拉 格 朗 日 松弛 和 户 发 忒 算法 . 


6.1 基于 规划 论 的 松弛 方法 


在 此 仅 以 整数 规划 为 基础 讨论 ,相应 的 结果 可 以 推广 到 混合 
整数 规划 问题 . 整数 规划 的 数学 模型 为 


zp = Mmine'r 
| st, Ax = 《6. ] 7 


ITE, 
其 中 ,决策 变量 * 为 ? 维 列 向 量 ,e 为 x 叭 列 向 量 ,4 为 rxXn 算 
阵 ,8 为 m 维 列 向 量 ;系数 ce,A4 入 取 整 数 ,Z 表示 非 负 整数 集 


上 
: 


1， 线性 规划 松弛 
在 (5. 1) 中 将 整数 变量 约束 松 怨 为 实数 ,就 可 以 得 到 


Zip 一 mine'™s 
| s.t. Ar =B (6. 2) 


开拓 及， 

其 中 R' 为 非 负 实数 集 , 称 (6.2) 为 (5.1) 的 线性 规划 松弛 . 线 

性 规划 松弛 扩大 了 整数 规划 的 可 行 解 区 域 , 车 记 
由 一 人 址 区 加 14 区 5 有 4 

则 有 5S 呈 5S, 十 是 得 到 结论 : 

定理 &.1 zp 和 Zip 

定理 6.1 说 明 线 性 规划 松弛 得 到 整数 规划 的 一 个 下 界 . 可 以 
通过 单纯 形 算法 或 多 项 式 时 间 的 内 点 算法 "1, 求 得 (6,2) 的 线性 规 
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划 的 最 优 解 . 

当 S 中 的 一 个 解 x 满足 cx 一 sz 时 ,推出 xo 为 (6.1) 的 最 优 
解 .作为 求解 整数 规划 问题 启发 式 算 法 的 一 部 分 ,线性 规划 松 旨 适 
用 于 整数 规划 问题 中 决策 变量 是 比较 大 的 整数 ,对 这 样 的 问题 , 启 
发 式 算 法 的 两 阶段 为 :第 一 阶段 将 整数 规划 问题 松弛 为 线性 规划 
问题 ,求解 线性 规划 问题 的 最 优 解 :第 二 阶段 将 线性 规划 的 最 优 解 
按 四 舍 五 入 或 类 似 的 原则 整数 化 ;同时 考虑 解 的 可 行 性 . 

2. 对 偶 规 划 松 弛 方法 

线性 规划 (6. 2) 的 对 偶 形 式 为 

zpe 一 maxy'b 
| st.4TT < 《6. 3) 
yt€ Ri, 
其 中 ,决策 3 是 一 个 mr 维 列 向 量 ， 

(6.2) 和 (6. 3) 都 为 线性 规划 问题 ,它们 的 计算 方法 相同 , 且 由 
对 偶 理 论 得 到 zor 一 zLp&ze. 至 于 采用 {6.2) 或 (6. 3) 中 哪 一 个 求 
(6,1) 的 下 界 , 则 需 比 较 哪 一 个 计算 简单 .无论 如 何 ,单纯 形 算法 和 
内 点 算法 在 实际 应 用 中 都 可 能 因为 耗 时 过 天 而 不 能 满足 要 求 . 如 
在 一 个 循环 计算 的 算法 中 ,每 一 次 循环 需要 求解 一 个 线性 规划 问 
题 , 当 循环 的 步 数 较 大 时 ,无 论 用 单纯 形 算法 还 是 内 点 算法 都 会 感 
到 计算 时 间 过 多 , 调 此 ,可 能 无 法 洽 足 计算 时 间 的 要 求 . 

3. 代理 {surrogate) 松 弛 法 

当 (6.1) 的 约 东 过 多 时 ,代理 松 怠 法 是 通过 一 个 约束 

(js > 袜 w 


j=1 [a 
替代 (C6.1) 中 的 天 个 约束 
Dy aj, 六 已， 二 1.2,.…,K. 
了 一 上 


极端 的 情况 可 以 用 一 个 约束 
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2 尝 2 
松弛 约束 4x 洋 5. 代理 松下 法 保证 目标 铺 数 .整数 变量 约束 不 变 ， 
且 玛 约 东 的 减少 得 成 计算 量 的 减少 . 

4. 拉 格 朗 日 松弛 方法 

拉 格 妆 日 松 邮 方法 的 基本 原理 是 :将 造成 问题 难 的 约束 吸收 
到 上 标 函 数 中 ,并 使 得 上 且 标 函数 仍 保 持 线 性 人 性 ,由 此 使 得 问题 容易 
求解 .对 它 的 研究 产生 兴趣 主要 基于 下 面 的 原因 ， 

《1) -- 些 组 合 优 化 问题 是 NP-hard, 也 就 是 在 现 有 的 约束 条 
件 下 很 准 求 得 最 优 解 . 但 在 原 有 的 问题 中 减少 一 些 约束 后 ,求解 条 
题 的 难度 就 大 大 的 减少 ,达到 在 多 项 式 时 间 内 求 得 减少 约 东 问题 
的 最 优 解 . 由 此 ,将 这 些 减 少 的 约 东 称 为 难 约束 . 对 于 整数 线性 规 
划 间 题 ,将 难 约束 吸收 到 目标 函数 后 ,问题 又 变 得 容易 求解 . 这 时 
解 的 质量 完全 依赖 于 吸收 到 目标 函数 时 所 选取 的 参数 ， 

例 6.1 集合 餐 盖 问题 (set covering probjem) 

设 4 一 es)nxn* 所 有 元 素 aiE 10,T}, 且 每 一 列 对 应 一 个 费用 
om20e0 二 1 表示 第 了 列 材 盖 第 ; 行 . 集 人 台 团 盖 问 题 是 
以 最 小 的 费用 选择 一 些 列 使 得 这 些 列 覆盖 所 有 的 行 . 它 的 数学 杰 
型 为 


zst 一 min Dox C6, 4) 
JJ 一 
(SC st ai 区 1 一 12 C6. 5) 
天 1 
Xi {0,1}, 了 了 一] ,27 C6. 6) 


集合 覆盖 问题 是 NP-hardf*1. 若 将 (6. 5) 松 弛 ,可 得 优化 问题 


rpsc (A) 一 min 之 ;ent 十 | 工 一 Dyas) 
3 一 i=1 j=1 
St. wi O01}, 7 12 ns 
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页 一 【As A = 0 


证 d= 2 as 
则 松弛 后 的 模型 为 


ZLRSCtA) 一 min D ld,x; 十 > 
1=1 :1 


St 了 ) 后 {O01}, 了 一 12 这， 《6 7) 


4 之 必 
(6. 77 很 容易 求 得 最 优 解 


最 优 值 为 
ZLasc(A) 一 Da 十 2 


从 松 弛 和 求解 的 过 程 中 看 出 ， 对 给 定 的 Azz0, 满 足 56.57 和 
《6. 682 的 一 个 可 行 解 自 热 满足 (6.7) 的 匆 束 ,因此 ,zipsc (A) 所 zsc 且 
zigsc (多) 是 SC 司 题 的 一 个 下 界 . 着 (6 7) 的 一 个 可 行 解 不 浦 足 约 


束 (6. 5) 时 , 即 看 在 i 使 得 > Potid ost 可 以 通过 调节 衣 , 使 其 增 大 
而 惩罚 解 的 不 可 行 性 . 于 是 aasc( 册 zsc 的 差 革 依赖 于 A 宇 0 的 
选取 .还 可 以 看 出 松弛 后 的 最 优 和 解 非常 容易 得 到 ,只 需 判 别 4, 的 
正 负 号 . Li 

(2) 实际 的 计算 结果 证 实 拉 格 遍 日 松弛 方法 所 给 的 下 界 档 当 
不 错 , 且 计算 时 间 可 以 接受 . 网 时 ,可 以 进一步 利用 拉 格 郎 昌 松弛 
的 基本 原理 构造 基于 拉 格 朗 日 检 弛 的 启 必 式 算法 ， 

由 上 面 西 种 松弛 方法 ,可 以 纵 予 松弛 一 个 定义 

定 久 6.1 问题 

(RP) ZR 一 minze() 
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满足 下 列 两 条 性 质 时 ,RP 称 为 整数 规划 C6.1) 的 一 个 松弛 (relax- 
ation ) ; 

《17》 可 行 解 区 域 兼 容 :SCAni 

(2) 上 日 标 函 数 兼 窒 :c x 这 zk(X)sY XES 
其 中 ,Ss 表 术 个 解 集合 ,zs (tx) 为 实 函 数 , 

定理 6.2 车 RP 无 可 行 解 ; 则 (6.1) 也 无 可 行 解 ; 若 (6.1) 有 
可 行 解 , 则 zip 之 za. 

证 用 当 RP 无 可 行 解 时 ,由 可 行 解 芝 城 兼 容 性 ,5S 一 他 . 当 
{6. 1) 可 4 后 时 ,《6,1) 的 最 优 解 为 RP 的 一 个 可 行 解 ,所 以 zip 二 za. 

LJ 


6- 2 拉 格 朗 日 松弛 方法 的 理论 


埋 论 告示 我 们 ,如 果 一 个 整数 规划 问题 可 以 在 多 项 式 时 间 内 
求 得 最 优 解 ,没有 必要 用 更 复杂 的 算法 去 求解 . 当面 对 一 个 NP- 
hard 的 整数 规划 问题 时 ,除非 PNP, 构 造 多 项 式 时 间 的 最 优 算 
法 已 不 可 能 , 本 章 是 在 整数 规划 问题 为 NP-hard 的 前 所 下 讨论 它 
的 松弛 方法 . 为 了 适合 拉 格 朗 日 松弛 方法 的 讨论 ,将 整数 规划 问题 
PP 揪 述 为 
zm 一 min el 
(IP》 s.t. 4x 三 下 (复杂 约 昌 )， 
Bx 万 以 简单 约束 )， 
TER', 
其 中 ,4,8) 为 mrXX (xn 十 1) 刺 数 和 矩阵 , CB,@) 为 LX (na 十 1) 整 数 和 托 
阵 . 记 IP 的 可 行 解 区 域 为 
So= {x€E ZL |Arb,Br >d}. 
在 IP 模型 中 ,Ax 守 5 为 复杂 约束 的 名 称 来 自 于 :如果 将 该 项 
约 东 去 掉 ; 则 IP 可 以 在 多 项 式 时 间 求 到 最 优 解 , 即 假 定 
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mine™x 
s.t. Bx 之 d( 简 单 约束 )， 《6. 8) 
ED, 
可 在 多 项 式 时 间 内 求 得 最 优 解 . 
对 给 定 的 2 二 Ci, 一 机) 守 0,IP 对 的 拉客 朗 日 梭 症 (在 
不 对 4 的 取 值 产生 混淆 时 .简称 为 工 R7 定 灾 为 ， 
2LREAY 一 mine .xt A — Ax) 
(LR) s.t+. Br ed， 
TE A. 
LR 的 可 行 解 区 域 记 为 Sig== {xEZ' |Bx 守 d). 
定理 6.3 LR 同 (6.8) 有 相同 的 复杂 性 , 且 车 IP 的 可 行 解 区 
域 非 空 , 则 
VY A 0 二 RU) SE zip. 
证 明 令 
EXAM) 一 CI 十 AR 一 4r)， 
则 
SEX A = Ce — ATAYx 十 和 十 
为 工 的 线性 图 数 . 而 和 5 为 常数 ,又 因 它 们 的 约束 相同 , 故 LR 同 
《6. 8) 的 复杂 性 相同 . 很 明显 看 出 SCSix 征 
YAOxE Scr Ab — Ary 
ET. 
由 定理 6. 2 得 到 Y A>0=>zrn (A) Szwp. 口 
定理 6.3 说 明 拉 格 朗 日 松弛 是 IP 的 下 界 ; 但 差别 有 多 大 ? 我 
们 的 目的 是 求 与 zie 最 接近 的 下 界 .于 是 需要 求解 
{LD) XLD 一 maxzrg (CA). 
问题 LD 称 为 IP 的 拉 格 斋 日 对 侦 . 用 下 例 来 理解 拉 格 半日 松 
弛 和 对 偶 等 概念 . 先 定义 凸 集 和 凸 包 的 概念 ， 
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定 © 6.2 疹 ¥ xX; 了 ED, 满 足 
af 十 (1 一 ay 和 万,0 近 as 芝 ]1， 
则 称 集 合 号 为 一 个 凸 集 ， 
对 离散 点 集 外 一 1P.1i 一 1,2): 它 的 凸 包 定 广 为 
con(@@) 一 全 一 > apPpla 基 0 实数 ,> es 一 1}. 


很 额 易 验证 conf@G) 为 是 集 ， 
例 6.2 假设 整数 规划 问题 IP 
2p 一 Inin 一 7 了 2 一 2xs 
St， XX] 一 2X 这 一 生 
一 5X1 一 二 区 一 20 
< 2zi 十 2x 这 7 (6. 9) 
七 ] 之 2 
一 wz 之 一 44 
\ TED. 
的 第 -个 约束 为 复杂 约束 ,那么 拉 格 郎 日 松弛 后 的 模型 LR 为 
Rh = min[— 7 + A GOOom {2 2A)re 1] — dA 


Sst, 一 5rl 一 了 之 一 20 (1]) 
2zi 十 2XTs 守 7 (2) 
4 (6. 10) 
之 1 主 2 (13) 
一 XxX; 守 一 44 4) 
工区 2 


问题 (6.10) 可 以 用 图 和 解 的 方法 简单 求解 . 图解 形式 如 示意 图 6. 1， 
其 中 , 售 表 示 整 数 点 ,ABCDE 分 别 表示 (6. 10) 的 可 行 解 集 的 
极点 ,图 中 的 四 条 直 钱 分 别 民 表 (56. 10) 四 个 约束 取 等 号 时 的 直线 
方程 . 
当 2 一 0 时 ,目标 炒 数 的 下 隆 方 向 是 (7 ,2), 图 解 (6.10) 的 最 优 
解 为 (3,4) ,zig C0) 二 一 29. 
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图 61 (6.10) 的 图 解 示意 


当 1 一半 时 ,目标 函数 的 下 降 方 血 是 (7.5,1) ,图解 (6.10) 的 


最 优 解 为 (4,0) ,zun| 于 | 一 一 32. 

当 ) 一 1 时 ,目标 画 数 的 下 降 方向 是 (8,0) ,图 解 (6. 10) 的 最 优 
解 为 (4;0) ,zua(D) 一 一 32 

由 目标 冰 数 可 知 ,(7 十 4,2 一 2 为 目标 画 数 的 下 降 方向 . 当 4 


在 [o, 十 co) 变动 时 ,单位 化 的 该 方向 从 | -5 一 | 硕 时 针 变 


化 到 
lim | 7 十 4 2 一 24 = 3. 
v53 | 6dT oN v5 6tsrl VS va 
二 是 ,内 可 能 在 两 点 3,4) 和 (4,0) 达 到 最 优 解 . 根据 图 6. 1 中 
方向 变化 求 得 且 标 值 . 过 (3,4) 和 (4,0) 两 点 的 直线 方程 为 x; 十 
4z 一 16, 在 图 6.1 中 用 虚线 表示 , 它 的 一 个 三 直方 向 是 


本 
[ 计 , 亏 j. 此 时 求 得 满足 
[: 7 十 和 2 一 2 -=| 4 1 1 
v53 十 6 十” vv 5 二 6 二 5 17 ” wI7， 
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的 一 二. 当 0 过 2 所 4* 时 ,最 优 解 为 (3,4). 当 轩 < 时 ,最 优 解 为 
《4*0). 综合 得 到 
一 29 十 4， 当 0 世 4 所 证 ， 
zu 人 iD = | C6. 11) 


一 28 一 8A, 当 AA 守 一. 
由 C6. 11) 解 出 (6. 9 的 拉 烙 半日 对 偶 问 题目 标 值 为 


= 一 | 3)= 28 
记 (6. 9) 的 简单 约束 {有 即 (6.10) 的 约束 ) 的 可 行 解 集合 为 @, 则 
Oo 2,27, 2.3 (2.4) C31) C3,2) ,03,3) ,3,4), (4,0)), 


达到 zin 一 一 28 对 的 极点 是 一 二 ,一 04,07 和 1= 也 ,= 
《3,4). 同时 ,由 图 6.1 直观 看 出 ;在 (4,0) 和 (3,4) 点 连接 直线 上 
“ 余 6.1 中 用 虚线 表示 ) 的 在 何 一 点 都 有 相同 的 目标 值 mp 一 

9 

考虑 复杂 约束 X11 一 27s 关 一 4; 往 容易 验证 ;直线 T1274 一 
一 4 加 过 (4,0) 和 (3,4) 两 点 的 直线 相交 于 x* 一 | 学 ,至 ] ， 

综合 上 面 的 讨论 ,xip 一 cx* 且 ** ExEecon(Q) |z 一 ?7x; 庄 
一 4 和}. 口 

下 面 定理 说 明 例 6.2 最 后 一 个 结论 有 普遍 性 ， 

定理 6.4 车 控 格 请 日 对 偶 的 目标 值 xxo 有 限 ,由 

zp 一 minte xlAr b,x EE con(Q)}, 


其 中 
QR= {rlBr>d,re ZI 
证 明 
zin(A) 一 mintc — ATAYxX 二 A'B 
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-= min (Cet 一 和 AT 十 页 


Ant 


— min [Lerx Ab — Ar)]. 


rE contd} 
设 con (Q@) 的 极点 为 {x | 所 下 } , 极 方向 为 {r!'|j 二 了 , 则 
min Ce 一 ATAYx + A 
— 20， 者 存在 7 EJ 满足 一 NADr' 之 0， 
| 十 AI 一 上 xz 其它, 有 EK. 
而 由 zu.wo 有 根 , 则 有 
| 存在 之 0'Y 了 EE J, 使 得 (em 一 AA)r!' 守 0， 


zin = maxzia(A) ~ max min[e x: 十 AT — Ax:y1. 
A EE 


这 一 结论 等 价 为 
zn = Maxy 
St. Cr ATB— Ar) 7 YEEK, 
{fT 一 AT) 0, YijE, 
页 0. 
整理 得 到 
Tr 一 max’”» 
5.t， 二 AC 一 下 之 Cr， SE 马 丰 ， 
AAr erm, YE 了， 
站 :2 
由 线性 规划 的 对 俑 理论 ,上 式 的 对 偶 线 性 规划 为 


ZID 一 mine"{ DP ar 十 Da) 
iER 


ET 
S$. t. ou = l, 


A( Dow + DB) 6( Te), 


m0 人 EE O07E. 
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最 终 整 理 得 到 


C2 一 min ex 
YE contay 


st， 村 之 十 口 
一 minfcrrl4dr b,x € con(Q)), 

推论 6.1 对 和 伍 给 :, 整 数 规划 问题 IP 和 拉 格 裔 日 对 俑 LD 
的 日 标 值 zir 一 zo 成 立 的 充 要 条 件 是 
con{@ I ER /Ar8})= cco) NN {rE R', |Axr 5). 

证 明 ”很 容易 看 出 

站 门人 ER 及 JArb) Econ) NN (rE RR IAr> Bb), 

得 到 


con(Q N {x € RI |Ax > 8)) 
Ceontcont) {x ER |Axr 6}) 
=con(tQ) NM {xr EE R' |Ar > 5}. 

再 由 定理 6.4, 得 到 


zp 一 mine'™x ip 一 mineT™x 
#Econ{ ANIrE BR’ Ar ) FE Con LrE RY Aceh} 


车 对 任 给 药 ec 满足 :zm 二 zio; 则 得 到 
con ,总 门人 后 到 |Arb}) = econ | tx ER |Axr 6b}. 
由 此 证 明了 必要 性 .由 上 面 的 推导 ,充分 性 明显 成 立 . 口 
例 6.3 《六 例 6.2) 全 6.2 中 的 
QO= {2,2),62,3) ,2,4) ,03,1), (3,2),03,3),63,.4) .04,0)}. 
记 
Si=eon(QfN (x € RY lz — 27, 六 一 4 月， 
SS; 一 cont@) NM {rE R, zm 2x Ee 4}, 
它们 的 区 域 图 形 表 示 匈 图 6.2.5, 区 域 为 图 8.2ta) 的 虚线 所 围 部 
分 .5S; 区 域 为 图 6.2(b}) 的 黑 粗 线 所 国 部 分 . 
由 推论 6- 1 可 以 看 出 ,ze 一 zo 的 差 值 同 下 面 两 个 因素 有 关 ， 
第 -是 目标 明 数 中 的 c. 推论 6. 1 中 是 对 所 有 的 ec 讨论 ,但 可 能 存 
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在 一 个 ¢ 使 得 zip 二 zion;, 如 在 例 6.2 中 二 (1,0) 时 , 划 ， 
Zip 一 INInT 
St ZX] 一 DX 一 44; 
一 87 OO Ts 20, 
2zi 十 2za2 7， 
区 2 
一 Tar 一 
ED, 
ZLRCAY = min[ (1 一 四 zi 十 2Ars] — dA 
s. t. 一 5 一 和 这 一 20， 
2T1 十 232 了， 
zl 2， 
一 za 之 一 4， 
Te. 
解 出 ze 一 2. (2,2) 和 (2,3) 两 点 的 直线 方程 为 z 二 2, 它 的 一 
个 垂直 方向 是 (一 1,0). 此 时 , 求 满足 
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A 一 1 一 324 
V1 一 2 二 58 Vi 一 24 十 5 
的 2" 一 0. 当 4 二 4* 一 0 时 , 松 驰 的 -个 最 优 解 为 (2,2). 于 是 
ZIRCA’ 一 > 
第 二 个 因素 是 可 行 解 的 区 域 . 根据 图 6.2(a) 和 图 6. 2 人 by 中 的 
Si 区 域 和 Ss 区 域 不 同 , 存 在 “使 得 zm 一 Zin 不 为 零 . 如 倒 有 .2 ， 21LD 
一 一 28 二 ,在 4* 一 言 达到 拉 格 衣 日 对 个 问题 的 最 优 值 , 它 的 一 个 
最 优 解 是 (4,0) ;zp 一 一 28, 一 个 最 优 解 也 为 (4,0). 从 这 个 结论 可 
以 看 出 ,即使 拉 格 朗 日 松弛 在 某 一 个 4 求 到 的 最 优 解 为 原 问题 
(6. 9) 的 可 行 解 , 我 们 不 能 断言 zp 一 zLk(A)， [1 
如 果 拉 格 朗 日 对 侦 在 4 二 0 时 达到 最 优 值 , 且 它 的 最 优 解 是 
IP 的 一 个 可 行 解 ,此 时 , 原 问题 IP 同 松弛 问题 LR 为 同一 个 目标 
函数 ,所 以 有 ZIP — 2LR (AY, 
IP 的 线性 规划 松弛 为 


zip 一 min cx 


dL.P) 3.1. AT 六 有 (复杂 约束 )， 
Bx 之 d( 简 单 约 东 )， 
ITER'. 
继续 研究 例 6.2 还 可 以 发 现 :已 经 得 到 zp 一 一 28,zip 一 
一 28 号 . 再 用 图 解法 ,可 得 到 线性 规划 松弛 的 最 优 解 为 | 这, 各] ， 
_ 302 
最 优 值 为 me 一 一 30 吝 . 


定理 6.5 车 线性 规划 松弛 LP 存在 可 行 解 , 则 zip 所 zo 所 


证 明 因为 
QN {rE RR |Axrb)} 
Ccont) NM {x € Ry |Ax bt} 
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C{xER: | 有 rr 六 要 
门 {x € RY |Axr > 6}, 


得 到 
con{QN ir ER |Ar 2 6b}), 
Ccont) 门 {x €E RY [Ax 8}, 
CC{rEtER Br>d} 
NN :rE Ry |Axr> 8b}, 


再 由 定理 6.4, 推 出 
zip 六 CLD 2 Lp. 国 
由 定 甫 6.5 得 到 ,采用 拉 格 朗 日 松弛 对 侦 后 的 目标 值 mo 是 
IP 的 一 个 下 界 且 不 比 re 差 , 因 此 可 能 出 现 差距 mo 一 si. 这 解释 
了 例 6. 3 结束 时 给 出 的 直观 结论 . 
推论 6.2 若 {xER' |Bx 守 dd} 的 所 有 极点 为 整数 点 , 则 对 任 
意 的 c 有 zip 一 2min。 
证 机 ”从 定理 6.5 的 证 明 过 程 中 得 到 
con(Q) 门 {fr ER |Ar BC{r Ee RR 1Bx > d} 
NM {zxeER', IAr 6}, 
当 1xE RI |Bx 之 d} 的 所 有 极点 为 整数 点 时 ， 
{x ER |Bx d= con(Q), 
于 是 
con (和 门 {x ER |Ax>b)={xER', |Br>d) 
NN {xr € RS |Ar > b}, 
再 由 定理 6.4 得 到 结论 . 0 
定理 6.5 告诉 我 们 , 拉 格 朗 日 对 侦 的 目标 值 是 IP 问题 的 一 个 
下 办 ,那么 ,这 个 下 异 与 更 的 目标 值 有 多 大 的 差距 ? 
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定理 6.6 zs 一 xDsSeCes20) 的 充分 必要 条 件 是 存在 
A OMX EE {rEL' |Arb,Br ad) 
满足 
TB 一 4 一 人 60)， 
ZA X= cr 二 ATE Oo Axr') entA) + > 0), 
人 十 人 扩 & 
证 骨 充分 性 : 
SLD DPR&URA 2A ,x ) Oo 6 
一 一 
必要 性 : 
记 x "为 IP 的 最 优 解 ,A 为 LD 的 最 优 解 , 则 有 
zip 一 ZK = ex’ TATHEHE— Ar') znCA)Y— (Ar ,xr’) 
=zm AT Ar) zatA’) — ziA' ,xr ). 
由 条 件 zip 一 zn 所 ste 之 0) 推 出 
ATB — Ar) gn(A) — z(A' x) 3— e, 
记 
A Tho AX) 一 一 zi) 一 zh 一 一 站 
则 得 到 
A Th — AX) =— 8.(8, 0), 
ZA sx) = er AT Oo AAT) = za(A) + ht(6, > 0), 
二 BA 口 
可 以 用 定理 6.6 的 充分 条 件 来 和 估计 一 个 算法 同 拉 格 朗 日 松弛 
下 江 的 虹 离 . 


例 5.4 ( 续 例 6. 2) 当 X" 一 计时 ,x* 一 (4.0)7 为 (6. 让 问题 
的 一 个 可 行 解 ,此 时 ， 
BA) 一 二 (一 4 一 们 一 一 2 
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zt 一 CT 4b — Ax*) 


= 28— = 28 © — zia(A*) + Bs 


其 中 ,=— 0. 于 是 se 一 站 十 9 一 总 , 故 有 ze 一 zn 

一 般 的 情况 下 ,无法 估计 得 那么 精确 ,但 也 可 以 用 定理 6.6 的 
充分 条 件 合计 zw 一 zio. 如 庆 一 地 时 ,x" 一 (4,0)" 为 (6.9) 阿 题 的 
一 个 可 行 解 ,上 比 时 ， 

一 Ax') 二 六 (一 4 一 4 一 一 丰 ， 

za x) =e rr 二 AD Ar') 
一 2 本 一 32 < 一 ZrRCA* Y 十 他， 

其 中 ,6 一 一 32 一 xn(A 一 一 32 十 28 十 4 一 0. 于 是 8 二 而 十 6 二 4， 
故 肥 zw 一 zin 扩 4. 口 

从 上 面 的 讨论 看 出 ,只 有 给 出 较 好 的 4* 和 x* ,才能 得 到 zr 一 
zlLn 较 好 的 估计 值 . 在 有 多 种 约束 组 合 可 松弛 的 拉 稿 朗 日 松弛 中 ， 
我 们 的 目的 是 选 zw 一 zLo 值 最 小 的 松 怠 . 


6.3 拉 格 朗 日 松弛 的 进一步 讨论 


在 前 二 节 中 ,我 们 仅 就 标准 的 拉客 朗 日 松弛 进行 了 讨论 , 在 实 
际 应 用 中 还 可 能 出 现 其 他 的 形式 . 本 节 导 对 一 些 常 见 的 问题 分 类 
讨论 . 
1. 等 号 约束 的 松弛 
将 等 号 约 东 
了 一 ; 9 


了 -1 


写成 两 个 标准 形式 
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x 袜 丰 和 > jr; 区 
对 应 的 拉 格 衣 日 乘 子 二 0， A 0, 芒 在 目标 画 数 中 出 现 


hl 6 一 ez] 十 aa[ 一 此 一 > (— a nz,) 


二 (i 一 he) | 6 DJ ae). 


令 和 = 二 加 一 ; 则 松 驰 后 对 应 的 入 没有 正 货 号 约束 ， 
2. LR 最 做 解 同 IP 最 优 解 的 关系 
车 对 给 定 的 4 这 0， 
zLR{AY = minelx 十 AT — Ax)} 
(LRY) s.t. Bx >d 
EP. 
的 最 优 解 x( 和 ) 为 IP 的 一 个 可 行 解 , 则 有 zig (C4) 所 zp. 值得 注意 的 
是 并 不 能 得 到 cx( 和 ) 王 zp; 用 下 人 重 说 明 这 个 结论 . 
例 6.5 集合 覆盖 问题 


min2zi 二 3xz 十 4x3 十 5 
St 十] 十 Ts 六 1， 
十 Ti 1， 《6. 12) 
Ts 十 za 十 Xi 二 1， 
Ti EE {0,1}, i = 1.2,3,4, 
直观 的 结晶 是 最 做 解 为 +1 二 zf 一 1 ,x 二 x 二 0,zw 二 5. 拉 格 翩 
日 松弛 三 个 约束 ， 
ZRCOAY = mint2 CO— 一 hr (3 Nh) 
| 十 《4 一 页 一 力 )1 十 (5 一 而 一 册 )z 十 页 十 和 十 入 
st.tiE {0,1},7 = 1,2,3,4. 
《6. 12') 
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当 负 = 二 加 二 家 二 4 时 ， 
ZRCAY = min -- 7x1 一 xs 一 人 ri 一 Sr 十 12 
s. t,x CE {0,1},7 C1,2,3,4， 
其 最 优 解 为 :zx 一 x 一 Xz; 一 一 1;xp 一 一 2 该 解 为 (6.12) 问 题 的 
一 个 可 行 解 , 但 
人 


机 1 
cr = (1,2,3,4) 11= 10 天 z1p. 


1 

由 此 得 到 : 当 松 弛 后 向 题 的 一 个 最 优 解 为 原 问题 (6. 12) 的 一 
个 可 行 解 时 ,并 不 能 得 到 该 解 为 原 问 题 的 最 优 解 . 国 

当 拉 格 朗 日 松弛 后 的 一 个 最 优 解 为 原 问题 IP 的 一 个 可 行 解 
时 ,在 什么 样 的 条 件 下 ,该 解 为 IP 的 一 个 最 优 解 ? 

推论 6.3 zm 一 zin 的 充分 必要 条 件 是 存在 A* 汪 0 和 x 为 IP 
的 可 行 解 , 满 是 4" (6 一 Ax')=0 目 zpCtA') 二 z(A' ,x*). 

证 明 定理 6.6 的 直接 推论 . 国 

当 拉 格 朗 日 松弛 后 对 应 A* 尝 0 的 一 个 最 优 解 x 为 原 问 题 TP 
的 一 个 可 行 解 时 ,此 时 已 有 zx) 一 zs ,只 需 A'TC6 一 
Ar" ) 一 0 时 ,有 zm 王 zin. 这 是 对 上 面 问题 的 回答 . 

3. 拉 格 朗 日 松弛 的 整数 性 

定义 6.3 若 LRICV 4 滨 0) 的 最 优 解 与 其 整数 约束 xEZT' 无 
关 , 即 


ZLRKA) 一 mincIx 二 MB — Ax) 
s.t. Bx 之 全 
XED, 
与 LR 的 线性 松弛 
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s.t. Br dd， 
TER', 
的 最 优 值 相同 , 则 称 该 问题 的 拉 格 半日 松弛 具有 整数 性 . 
从 整数 性 可 以 看 出 , 若 LR 具有 整数 性 , 则 对 任意 的 A=0, 最 
优 解 在 {xER' 1Bx 之 dd}) 的 一 个 极点 达到 且 该 极点 一 定 是 整数 点 . 
例 6.6 ( 续 6.1) 例 6.1 的 集合 敌 盖 问题 SC 的 拉 格 训 日 松 
弛 为 


gipg CA 一 mineryr + NB Ar) 
(LRLY | 


2TRSCC AD 一 min agi, 十 ya 
(LRSC) | 之 之 
号。 上， 2 ED) 一] 了 0 
其 中 
十 一 6 一 PD Na 
上 面 公 式 的 线性 规划 模型 为 


(LSC) | 一 min Za 1 和 2 
st Oz E112 sn 
LRSC 和 LSC 的 最 优 解 都 为 
[11， 若 dj 所 0， 


16， 其它. 


由 此 可 知 LRSC 具有 整数 性 , [1 


推论 6.4 若 LR 具有 整数 性 , 则 xin 一 zi。 
证 明 记 
名 一 位 入 有 Br dd}, 
zLRLKA 一 Da +t AT(h — AxY), 


Zp 一 TaX zp (A). 
Mn 


产 
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同 定理 6. 4 的 证 明 相 局 ,有 
zn —min{tce rxr|Axr b,x E con(Q } 
一 minfe tx|Axr = b,x EE QQ} = zr, 
由 zLai( 加 定义 ,存在 A' 尘 0 使 
ZF 一 Ep 一 ZLRL CA ). 
由 整数 性 得 到 : 
gLP 一 2RLCA = gig (A ) A zn: 

髓 由 定理 6. 5 得 到 zp 一 Lp. 门 

推论 6.4 同 推论 6.2 的 结论 秘 为 相似 ,值得 注意 的 是 推论 
6.2 要 求 & 一 {xE€ERY |Bx 之 d} 的 所 有 和 极点 为 整数 点 ,这 样 可 以 保 
证 ze 二 zp; 说 明 拉 格 朗 日 对 偶 问 题 的 最 优 值 与 IP 问题 的 线性 规 
划 松 弛 最 优 值 无 差距 . 但 推论 6.4 的 条 件 比 推论 6.2 更 弱 一 些 , 并 
不 要 求 驴 一 (rzER+IBrzd) 的 所 有 极点 为 整数 点 ,只 需 对 应 任 一 
A1LRIL 的 最 优 解 为 整数 点 ,达到 最 优 目标 值 =rm(Ca). 这 -现象 可 
以 从 例 6. 7 中 看 出 .由 此 得 到 的 结论 是 zp 二 zn, 表示 线性 规划 松 
训 的 最 优 值 同 拉 格 朗 昌 对 偶 的 最 优 秆 相同, 即 采 用 控 格 天 日 枞 弛 
的 效果 不 比 线性 规划 松弛 好 . 

例 6.7 整数 规划 问题 和 它 的 拉 格 部 日 松弛 分 别 为 (6. 13? 和 
(6.14). 
zp = min 一 7r 一 2zs 

St， Ti 一 2z7s 六 一 4 


一 4z1 一 了 一 16， 


3 2x1 十 2X2 之 7， 《6. 13) 
1 这 2， 
一 区 3 一 4， 


TIED. 
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zgCA) = minL 一 (7 十 办 ri 一 (2 一 24)xz] 一 4 
s.t, 一 4zl Xs 16, 
2X1 十 27x22 了， 
TI! 2， 
一 Ts 这 一 4， 
TE 4. 

本 例 同 例 5.2 非常 相似 ,只 是 将 讽 6.2 中 间 题 (6.9) 的 第 二 个 
约束 一 571 一 Xs 写 一 20 变更 为 一 4z 一 zo 访 一 16, 按 推论 6.4 的 
定义 ， 

= {rER', |Brod)} 

= {x€ER', | 一 4 一 各 六 一 16,22 二 27 六 7 ,XT 让 2 ,一 wi 守 一 4). 

用 图 6.3 表示 解 集合 久 包 括 : 粗 黑 组 内 部 和 边界 . 


(6. 14) 


Sm 


图 6. 3 此 的 解 区 域 示意 玫 
很 明显 , 它 的 极点 为 4.B.C. 丰 .已 , 且 4 一 (2,3/2) 和 天 一 
《772,0) 不 是 整数 点 ,因此 ,由 推论 6. 2 无 法 得 到 zp 一 zin. 
与 例 6.2 相同 的 分 析 , 得 到 i 一 十: 当 0<X<A" 时 ,最 优 解 为 


{3,4). 当 1 < 时 ,最 优 解 为 (44;0). 而 LRL 问题 在 本 便 的 可 行 解 
区 域 为 图 6.3 的 籽 摧 线 内 部 ,同上 面相 同 的 讨论 ,他 们 对 每 一 个 
a20 的 最 优 值 相 同 , 即 具有 整数 性. 于 是 
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zia(A) 一 ZIRLCA) 一 1 


解 得 46.13) 的 拉 格 说 日 对 侦 问 题目 标 值 为 
TLD 一 =e| 寺 | 一 一 28 3 
线性 规划 松弛 的 可 行 解 区 域 为 
rl 2T 2 4， 44] yr 一 16., 
ween 


2 十 2ra 袜 7 了 :7 让 2， 一 区 这 一 下. 


它 的 所 有 极点 为 图 6.3 中 的 4.P.G、 和 无 , 即 极点 是 


||2， FE (2,3), EE 人 ， (4,0), [去 ， o))， 
于 是 最 优 信 zn 一 一 7X 伟 一 2X 各 = 一 28 二 zn. 验证 了 推论 
6. 4 的 结论 . 口 ] 
在 例 6.7 的 条 件 下 ， 


Zib 一 Rn 一 一 了 8 3 天 xp 一 一 28， 


但 并 不 是 说 驴 ' 一 (zi | Br2zd) 的 某 一 个 极点 不 是 整数 点 时 ,不 
存在 sun 一 xp 一 xp。 
例 68 ( 续 例 6.7) 继续 例 6.7 的 讨论 ,将 (6.13) 中 的 级 东 
2 一 2 一 和 更 改 为 二 一 妇 溢 一 1, 邯 模型 为 : 
zp = Min 一 7 一 2rs 
St， ZT] OO— Xs 1], 


一 47 一 工 2- 一 16， 


2z1 十 327fz 衬 7， (6. 15) 
十 1 = 过 
一 了 5 一 4， 


TE RD. 
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zuRfa 一 minf 一 7 一 Ar 一 (2 一 让 ze] 一 人 
8.1. 一 4x1 一 一 16， 
xz 十 2zs 7， 
了 之 3， 


(6.16) 
一 工 ; 这 一 了 
Te. 


图 6.3 中 的 4 点 |2, 呈 | 是 QQ 一 {xER' |Bx>>d} 的 一 个 极 
点 .与 俩 6.2 和 例 6.7 相同 的 讨论 , 拉 格 朗 日 松弛 问题 (6.16) 目 标 


函数 下 降 的 方向 从 | -和 | 烦 时 针 变 化 到 
ar w53 于 104 十 2 YY53 十 1014 十 2 ww 


于 是 ,只 可 能 在 (3,4) 和 (4 ,0) 两 点 达 至 最 优 解 .可 以 根据 图 中 
方向 变化 求 得 目标 值 . (3,4) 和 (4,0}) 两 点 的 直线 方程 为 y 十 4z 一 


它 的 一 廊 向 是 [4 ,| yi 
16, 它 的 一 个 和 直方 向 是 | -和 ，- 寺 |. 此 时 求解 4 满足 
[ ?3 十 到 2— A ) | 4 1 
(VO Tan /i Fi a viI7’ v1I7 » 
得 到 和 "一 二 当 0<XSX* 时 ,最 优 解 为 (3,4). 当 4" 过 A 时 ,最 优 解 


为 (4,0). 于 是 


一 29， 当 0 之 4 过 寺 


日 


on 


ZLRCAY 一 
一 28 一 54， 当 4 之 二. 
由 此 解 (6- 15) ,得 拉 格 朗 日 对 偶 和 问题 目标 值 为 
苦 LD 一 = 二】 一 一 29. 
很 容易 验证 x* 一 (3,4) 为 JP 和 LP 的 最 优 解 .目标 值 满足 mp 
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—2IF -erm—= “29. U 
4. 拉 格 朗 日 分 解 
拉 粘 半日 分 解 cdecomposition) 的 基本 思想 是 ;将 整数 规划 问 
题 IP 改写 成 
zp 一 tninclx 
Stf。 由， 
r= y， (6. 17) 
By 之 4， 
KFE D4, 
其 中 ,增加 辅助 变量 y, 使 得 约束 x 一 y 连接 Ax 谤 p 和 Br 之 4 两 组 
约 东 .采用 拉 格 朗 日 松弛 的 方法 去 掉 (6.17) 中 的 约束 x 二 y,; 对 作 
意义 得 
minelx + ATCx — y) 
s.t, Ax 过 6b， 
By 在。 
TPE 2 
中 目标 卫 数 的 线性 性 , (6. 18) 等 价 于 
| ZLRCAY = mmine™r 十 ATx 


(6. 18) 


s.t. Ax> Bb， <6.19) 
XE PB ， 


s.t. By> d, (6. 20) 

yE 了. 
IP 问题 松弛 并 且 分 解 为 《6.19) 和 (65.20) 两 个 整数 规划 问题 . 
它们 每 一 个 选 上 的 一 部 分 约束 作为 自己 的 约束 ,使 得 每 一 个 问题 
的 计算 规模 减少 , 更 重要 的 基 达 到 分 和 解 的 目的 :寻求 (6.19) 和 


| sa ~ min 一 ATy 
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(6. 20) 是 可 以 简单 求解 的 整数 规划 问题 . 这 同 拉 格 朗 日 松弛 的 原 
理 相间 . (6. 19》 和 (6. 20) 称 为 IP 的 拉 格 郎 日 分 解 . 
由 于 拉 格 妆 日 分 解 是 拉 格 半日 松弛 的 一 种 特殊 情况 ,很 容易 
验证 
ZLRICA) + Siks CA EE eyp. 
它 的 对 偶 问 题 是 
LD 一 maxziRi(A) 十 ipR2tA). (6, 21) 
有 关 的 理论 和 计算 同 拉 格 朗 目 松弛 相 局 . 
$. 增加 拉 格 户 日 梭 弛 的 约束 
有 时 , 拉 格 朗 日 松弛 使 得 约束 过 于 宽 徐 ,此 时 增加 一 些 约束 可 
以 提高 松弛 后 问题 的 计算 效果 .值得 注意 的 是 不 能 因为 增加 约束 
而 使 得 问题 的 复杂 性 有 本 质 的 不 同 , 即 拉 格 斋 日 松弛 问题 从 一 个 
多 项 式 问题 转 作为 NP-hard 问题 . 
例 6.9 《〈 续 例 6. 1) 当 集 合 禾 作 问 题 松 弛 所 有 的 约束 时 , 控 
格 凑 日 松弛 问题 为 


Xaso CA) 一 min DJ dr, 十 Dn 


j=1 1 


《6. 22) 
Ss.t. x CE {0;1}), 7 = 1,2,.s7, 
和 之 0, 
其 中 
工 一 一 er 
一] 
最 优 解 为 
1， 著 心志 0， 
二 ”一 
0， 其 他 . 


从 集合 覆盖 问题 的 本 身 可 知 :任意 选 定 一 列 , 任 意 选 定 一 个 非 
零 的 位 冒 , 则 非 零 元 案 对 应 的 行 被 选用 的 列 履 盖 ; 由 此 ,n 列 中 存 
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在 不 超过 mm 列 的 一 个 列 集 合 { 每 个 列 只 少 有 一 个 1) 履 盖 :mx 行 . 增 
吉 约束 


1 反 Siz, 寺 物 ， 
4 一 1 
使 得 56, 22) 变 为 
CLRSCa (A) = min Yd,x, 十 2 
1—1 i=1 


5.t, 1 Dr， (6. 23) 


j=1 
TE 01} = 2, ns 
和 A 宇 0, 
不 难 证 明 ,(6. 237 基 集合 覆盖 SC 的 一 个 秘 弛 , 且 对 尾音 Ah3 
0, 有 
SLRSCI(A) < CLRsce CA) EL zgc. 口 


6.4 拉 格 朗 日 松弛 算法 


拉 格 朗 日 松弛 算法 主要 包括 次 梯度 优化 算法 和 拉 格 朗 日 松弛 
启发 式 算法 . 它们 的 两 个 主要 应 用 是 给 出 IP 问题 的 下 界 和 构造 基 
于 拉 格 朗 日 松弛 的 启发 式 算法 . 由 前 面 的 讨论 可 知 ,每 一 个 A 对 应 
的 zLat2) 都 可 以 作为 IP 的 下 界 , 下 界 的 最 佳 值 为 zun. 求解 zin 的 
过 程 采用 类 似 非 线性 规划 的 梯度 一 一 次 梯度 优化 算法 . 进一步 可 
以 将 吹 梯度 算法 扩展 为 拉 格 朗 日 松弛 启发 式 算法 . 它 的 两 个 主要 
步 豫 是 :第 一 步 是 确定 一 个 1 及 求解 对 应 LR 的 最 优 解 x; 第 二 步 
是 当 x 不 是 IP 的 可 行 解 时 ,将 其 可 行 化 . 


5.4- 1 次 梯度 优化 算法 
次 梯度 优化 (subgradient optimization) 算 法 的 思想 与 非 线 性 
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规划 的 梯度 和 下降 思想 相同 . 拉 粘 朗 日 对 烟 问 题 镑 望 下 的 下 界 
zrLRCA) 尽 可 能 大 ,于 是 按 zur (2) 的 上 升 方向 新 浙 交 近 zin. 次 梯度 
优化 算法 就 是 根据 zj,n (2) 本 身 的 分 跋 线 性 而 构造 . 
定义 和 4 沙 数 g:R" 一 R 满足 
Yr A ER", 
Oa lg(lar + (1 — Mr) Fag(r) + (1 — og tr), 
则 称 gCz) 为 耳 薄 数 . 
定理 6.7 若 LR 的 可 行 解 集 合 外 是 有 限 个 整数 点 集合 , 函 
数 
zatA) 一 Ininfcrr 十 MT 一 4xylx € Q} 
是 上 盟 数 . 
证 阴 由 于 妨 是 有 限 个 整数 点 的 集合 , 记 这 些 点 为 (4 二 1， 
2 天) 于 是 
ELR{ 及 一 Min, te 二 ACh — Axrt)}. 
记 达 到 最 优 值 的 点 为 x?; 则 
ZR(AD = ex TATE — Ax’). 
对 里 天; 让 及 A 一 al 二 (1 一 oj Oos1 ,有 
Stra(CA) = x MB — Ax') 
一 ae 十 (ADTCGB 一 x ) 1] 
+ (1 lex CRITOh — Ax')] 
ozLR(AD TT 0 CO— orn AN). 
因此 ,=a(Cai) 为 凹 函 数 ， 口 
定理 6.8 函数 gfr) 是 中 本 数 的 充分 必要 条 件 为 Y x* ER*， 
存在 ?一 [sis pn) 人 了 ”使 得 
VrXER” 有 g(x) Ts er) g(x), 
证 明 “必要 性 ”: 根 设 g(x) 为 站 函数 ,对 瑟 ={(x,z)|zx 世 
gtr) 和 YW (Cr,2l) (rz7)EE 开 ,有 
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Ge 二 (1 Oo— oa) (x 2z2) 
一 (arcl 十 (1 — ox’ ,or + Cl 一 ex2)。 
满足 
B{a¥ + CO— Mr) 之 oagCzD + (1 — oe tx’) 

宇 加 十 人 【一 Ge 
所 以 :akxr 2 十 (一 Cx ,22)EE, 故 可 为 凸 集 .而 (x' ,g(x )) 
是 五 的 - -个 边界 点 ,十 是 存在 一 个 过 (x' ,g(x" )) 由 法 方向 s 生 
成 的 支撑 吉平 面 zx:gtx*) 十 sTir 一 x*) 满 足 

BX sx) gr), 

必要 性 得 证 . 

“充分 竹 ?,， YX0 守 4 1x 二 ar! 十 (] 一 jx ,有 
BLE) Hor I) g(r) g(r) + (x — x) gx), 
进一步 
g(x) ss ant oor x ) agtr) + (1 — a g(r’), 
即 

SX") Agr (1 — oa)g (Cx). 了 

图 6.4 为 定理 6.7 结论 的 一 个 示意 图 ,zatA) 是 每 一 个 极点 

达到 最 优 的 分 跋 线 性 函数 曲线 
ZLRCA) = crx + ATCB — Ax’). 


LECN 


图 6. 4 xfi 画 获 曲 线 示意 图 
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其 中 ,每 -条 直线 表示 最 优 解 在 某 - -个 极点 达到 时 的 自 标 秆 .点 已 
的 两 个 方 辐 53 和 s4 分 别 牌 直 于 3 和 4. 沿 53 和 和 54 所 夹 部 分 的 
任何 -个 向 量 前 可 以 作为 满足 定理 6.8 的 方向 而 建立 一 个 超 平 
而 . 这 样 的 方向 在 zr 人 3) 可 微 时 是 唯 -- 的 ,但 在 诸如 4A.B 和 忆 点 
时 是 未 唯 - -的 , 光滑 函数 时 的 梯度 法 在 此 不 盏 可 行 ,因此 , 划 下 定 
光 广 妇 的 梯度 一 一 钦 梯度 (subgradient). 

定义 6.5 若 g:R" 一 R 为 贴 隔 数 , 在 x' ER" 向量 sERr 满 
足 

YE Rgtx) sr eo x) g(r), 

则 称 sER" 为 gtr) 在 x' 玖 一 个 次 梯度 .g(xr) 在 x* 的 所 有 次 梯度 
组 成 的 集会 记 汐 加 (x ). 

定理 6.9 若 g(lx) 为 加 函 数 ,x* 为 max{gtx)|reER"} 最 优 解 
的 充分 必要 条 忻 是 0€ 3g (x*). 


证 朋 
0 Ed OOrT 一 着 ) CC) g(x) XE Rr” 
NDE) EE I rE RR". 口 


定理 6.10 设 IR 的 可 行 解 集 人 台 @ 由 有 限 个 整数 点 集合 组 

战 , 它 的 极点 为 和 (RE 下)， 有 
ZLRCA*) 一 mint{e x 十 和 (5 — Ax*)}. 
记 了 一 {ilsatA’) = ora’ (bb — Ar)}. (C6. 24) 
则 对 任 选 1 E7， 
sO 二 po Axi (6. 25) 
为 zrx (A) 在 A' 点 的 一 个 次 梯度 . 昌 
fs 时 18 一 2 Pom = > 0c ga 本 


即 所 有 了 工 中 满足 (6， 235) 的 方向 西 组 合 形成 A 点 的 次 梯度 子 集 合 . 
证 有 明 车 Fs 如 (6. 25) 得 到 ,再 由 (6. 24) 推 导出 
CSA AY) = MB — Ar)Y— A:ilp — Ar') 


[ew] 
~-] 
= 


革 请 章 和 拉 改 最 日 松 怨 算法 


= ex Ab Ax) [elx' + AT — Axr')] 
2 ziLRCA) 一 Lk CA" 2. 

上 所以,(5.25) 定 义 的 为 -个 次 梯度 . 

类 和 似 方法 可 以 得 到 所 有 了 中 满 是 (6.25) 的 方向 凸 组 会 形成 4 
点 的 次 梯度 子 集合 . | 

由 定理 6.7 有 关 zur (4A) 的 四 性 和 借助 图 8.4; 潜 A' 不 是 
zt 的 最 大 值 点 ,相交 的 两 个 达到 目标 值 的 平面 ri :erz 十 和 (3 
一 XCAEDD) 和 mer AT AX) CAE D,) 满 足 A* EDN 
DD;, 且 两 个 平面 的 法 方向 交角 不 超过 90 度 ,也 就 是 和 ntA") 内 的 
所 有 次 梯度 方向 光 角 不 超过 90 度 . 

定理 6.7 推出 zr 人 A) 是 四 函数 . 由 四 函数 的 特性 , 知 wz(A) 在 
定义 域内 的 任何 一 个 开 集 内 蚌 连 续 函 数 . 当 %" 是 光滑 点 时 ,由 定 
理 6.7 和 人 定理 6.10 知 次 梯度 唯一 ,是 明 数 zg (4) 的 梯度 方向 , 因 
此 沿 此 梯度 方向 上 升 最 快 . 在 A 的 一 个 邻 域 内 ,zua (4) 沿 此 方向 
上 升 . 

当 AN'* 不 是 光滑 点 时 ,由 za) 的 连续 性 和 (16. 24),(6. 25), 在 
A' 的 一 个 邻 城内 3 二 maxtaA’ 十 8',0} 时 ,其 中 了 是 一 个 充分 小 的 
正 数 ,存在 jE 了 , 司 得 目标 证 数 

ziRCAY = ex 二 AT Oo Ar'), 

村 是 ,由 unt4' 内 的 所 有 次 蛋 度 方向 光 角 不 超过 90 度 的 结论 ， 
得 到 


ZLRCAY 一 wip(A') =A— AITE Oo— Ax) 
O06 — ArYTE — AXY) 
0 E 工 
上 面 的 讨论 已 经 握 示 如 何 构造 拉 辕 遍 日 松弛 算法 ,使 得 
2gf43 逐 步 上 升 - 基 本 步 际 是 :对 给 定 的 2 计算 zin5CA 3 由 
C6. 24) 和 05.25) 计 算 1 的 -个 次 樟 度 , 若 次 梯度 满足 定理 6.9 的 
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充分 性 则 达到 最 优 解 ;省 则 以 这 个 次 梯度 寻求 za) 上升 的 方向 . 
总 结 为 算法 : 


次 梯度 优化 算法 

STEP1 人 在 选 一 个 初始 拉 格 朗 日 潜 子 和 ,t= 二 |; 

STEP2 对 不 ,从 加 (1) 中 任 选 - -个 次 和 梯度 后 苦头 一 和 则 无 达到 
最 优 解 而 停 丰 计算 :和 理 则 4 一 max{t 下 十 总 8 和 ,一 上 
十 1 ,重复 STEP2. 


在 STEP2 中 ,满足 
0 一 co, 且 吕 一 0 -> co。 (6. 26) 
i= | 


《6.26) 是 拉 格 朗 日 对 侦 问 题 收 笋 的 理论 结果 .由 次 梯度 优化 算 
法 可 知 ,zLk (WD) 是 一 个 町 函 数 , 羽 替 光滑 函数 的 梯度 上 升 法 , 它 是 
一 个 次 梯度 上 天 算法 . 也 就 有 非 强 性 规划 收 敏 的 理论 结果 (6. 26). 
实际 计算 中 ,不 可 能 如 同 (6. 26) 那 样 只 代 无 穷 多 次 ,因此 产生 多 样 
的 确定 名 的 方法 和 具体 执行 次 梯度 优化 算法 的 技术 问题 . 下 面 就 
主要 的 问题 分 类 讨论 . 
1. 旭 , 的 选取 
实际 计算 的 目的 是 尽快 得 到 一 个 可 以 接受 的 下 界 或 是 对 已 到 
得 到 的 一 个 解 可 行 化 ,无 论 如 何 ,常常 采用 启发 式 的 方法 . 其 中 一 
类 方法 是 
= rd ol, 《6. 27) 
这 类 方法 使 以 指数 速度 下 降 ,因此 选民 次 数 较 少 , 另 一 类 方 
法 是 
0 = zup Cf) 一 ze(t) a, 


Fa 6. 28) 
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其 中 ,0 夺 训 二 2 ,一般 取 记 二 2。 当 zr( 和 上 升 时 ,以 不 变 , 当 zn (有 A) 
在 给 定 的 若干 此 没有 变化 时 , 则 取 其 一 半 . (6. 28) 中 的 zur(2) 为 IP 
景 优 晶 标 什 的 -个 上 界 .可 以 用 -个 可 行 解 的 目标 值 确定 ,也 可 以 
道 过 估计 的 方法 得 到 . zur (1) 可 随 t 的 变化 而 逐步 修正 , zis (zt) 是 
zLR{A) 的 -一 个 下 界 ,一 般 选 取 zin《 让 一 zura《 褒 ) ,但 有 时 为 了 计算 简 
单 , 只 取 一 个 癌 定 值 .56. 28) 的 主要 思想 是 用 sort 一 ma 修正 
变 北 的 速度 ， - 

2. 停止 原则 

(1) 选 代 次 数 不 超 过 了. 这 是 一 种 最 为 简单 的 原则 , 无 论 解 的 
上 质量 如 何 , 到 达 选 代步 数 则 停止. 由 此 很 容易 控制 计算 的 复杂 性 ， 
但 解 的 质量 无 法 保证 . 

(2) 8 一 0E 3erz(4)。 这 是 最 为 理想 的 状态 ,由 定理 6.9,X 达 
到 拉 格 朗 日 对 偶 问 题 的 最 优 解 . 在 实际 计算 中 ,由 于 问题 的 复杂 性 
和 计算 机 本 身 的 计算 误差 ,这 样 的 结果 较 难 达 到 ,常常 用 上 s' 二 
(se 为 给 定 的 非 负数 ) 来 代替 ， 

C3) zuoptt 一 2raft)。 在 zur (tf) 和 sratt 可 变 时 ,这 种 情况 表示 
已 得 到 IP 的 最 优 解 ,最 优 值 为 sp 一 zup 人 ty 一 se 人 7。 

{4) 外 或 自 标 值 ma 在 规定 的 步 数 内 变化 不 超过 一 个 给 定 
的 值 . 这 时 认为 目标 值 不 可 能 再 变化 ,因此 ,停止 运算 ， 

具体 应 用 中 ,可 以 采用 以 上 停止 原 峙 之 一 ,也 可 以 综合 运用， 


6.4.2 近 格 郎 日 启发 式 算 法 


拉 格 朗 日 松弛 的 一 个 主 村 工作 是 提供 人 P 的 一 个 下 界 .LR 问 
题 的 一 个 比较 好 的 下 界 所 对 应 的 解 也 应 该 间 IP 的 最 优 解 相 近 - 在 
这 样 的 尔 辑 下 ,产生 子 拉 格 朗 日 启发 式 算法 . 拉 格 朗 日 扒 弛 启发 式 
算法 主要 包含 两 个 部 分 , 第 一 部 分 就 是 控 格 朗 日 的 次 梯度 优化 计 
算 . 由 于 第 一 部 分 得 到 的 LR 的 解 不 一 定 为 P 的 可 行 解 , 第 二 部 
分 就 是 对 第 一 部 分 得 到 的 解 可 行 化 . 
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例 6. 10 假设 集合 蓝 盖 SC 问题 ,通过 拉 格 明日 松 苑 得 到 一 
个 解 工 = (zea 和 yan)l 扫 二 不 是 SC 问题 的 - -个 可 行 解 时 ; 即 在 
在 i 使 得 
dar, 一 用 
时 ,一 个 直 疯 的 可 行 化 方法 是 ; 求 & 满足 
Ce = Din {6, la, = 1},， 
使 得 x 一 1. 
重复 以 上 的 判别 和 计算 直至 所 有 的 行 被 覆盖 - 这 样 得 到 的 算 
法 是 茜 于 拉 格 朗 日 松弛 的 启发 式 算法 , 所 得 的 解 为 可 行 解 . | 
控 格 关上 日 松弛 启发 式 算法 总 结 为 : 
第 一 阶段 ”次 梯度 做 化. 这 一 阶段 通过 求解 xzg(4) 满 足 定义 
6.5 的 次 梯 麻 ,逐步 改进 zrr (4) 的 值 ,使 得 za) 与 ap 充分 接近 ， 
由 局 发 式 算法 的 特性 ,次 梯 度 优 化 时 不 一 定 要 求 得 到 io, 这 样 可 
以 物 造 很 多 革 十 次 梯度 优化 的 启发 成 方 法 . 
第 二 阶段 ”可 行 化 .在 LR 的 解 为 不 可 行 解 时 ,对 其 可 行 化 . 
系数 修正 法 就 是 拉 格 阅 日 松弛 局 发 式 算法 的 一 种 形式 ,在 给 
以 到 后 ;类似 次 梯度 优化 算法 ,系统 地 调整 拉 格 朗 自 系数 ,以 改进 
LR 的 下 界 .这 一 方法 的 优点 是 计算 量 较 次 梯度 优化 少 且 每 一 步 
使 LR 的 下 界 上 升 . 它 的 缺点 是 所 得 的 下 界 可 能 比较 差 , 修 正 的 方 
法 依赖 十 问题 本 身 . 我们 先 从 下 面 的 示例 了 解 系数 收 正 法 . 
例 6.11 对 集合 覆盖 问题 
min2z1 十 3xz 十 4x3 十 5x 
s,t, Xl 十 上， 
Tl 十 汪汪 1， 
Taz 十 Ta 十 zs2 1， 
zi E 101}, 1 = 1,2,3,4. 
健 设 轴 一 1.5,1 一 1.6, 力 一 2. 2. 
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zt CA) = mint{— 1. 17 十 08r 十 00.3 十 1.2r} 十 5.3 
st Et101) jo 1,2,3,4. 
sa 的 最 优 解 居 2 二] ,zy 一 xT 一 二 一 0 ,giR(M) 二 4.2. 
第 三 行 没有 被 入 六 ,在 可 覆盖 第 三 行 中 选 费 用 最 小 列 
= mnio.80,3,1,2} = 9.3, 


1.5 0 1. 5 
2.2 0.3 2.5 
得 到 
zigCAY = min{— 1.1x1+ 0.5x, 二 0. 9x} + 5.6 = 4.5, 
LR 的 最 优 解 为 x 二 zx; 二 1,7; 一 x 二 0. 用 算法 表示 为 


替代 


STEP0 初始 化 加 .一 0 

STEP2 计算 zin (XD); 

STEP3 关 所 有 行 被 覆盖 ,停止 计算 ;否则 , 记 s, 一 1 表示 第 i 行 没 
有 被 覆盖 ,在 没有 被 覆盖 的 行 中 任 选 一 个 行 , 计 算 


Sd: = minld;|as = 1,5 = 1}, 


其 中 d= — 3 


| 十 ， i 一 此 ， 加 
STEP4 =] ,t+1, 返 加 STEP2. 
=: + + 


例 6.11 不 同 于 次 梯度 优化 算法 是 近代 步 长 取 为 1. 因此 它 是 
一 种 启发 式 的 算法 . 国 | 
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6.5 拉 格 朗 日 松弛 在 能 力 约束 
单机 排序 问题 中 的 应 用 


柔性 制造 单元 的 排序 问题 是 约束 单机 排序 问题 的 -- 类 ,其 特 
点 起 生产 的 多 样 性 以 满足 市 场 的 不 局 需求 ,但 爱 生 产能 力 的 有 限制， 
必须 对 其 生产 进行 调度 ,以 期 达到 最 优 的 生产 效益 . 加 之 每 一 个 顾 
客 对 产品 的 需求 量 .完成 时 间 等 的 要 求 不 尽 相同 ,因此 我 们 提出 一 
个 加 可 目标 的 可 拆 分 约束 单机 排序 问题 后 . 

本 节 首 先 建立 了 一 个 加 权 目 标 约 东单 机 排序 问题 的 数学 模 
型 ,并 证 明了 该 问题 为 NP-hard ,然后 给 出 一 个 简单 的 启发 式 算法 
和 个 拉 格 朗 日 松弛 算法 并 研究 其 最 优 解 的 人 性质 . 最 后 ,对 这 两 个 
算法 的 计算 结果 进行 了 对 比分 析 . 

假设 二 种 产品 的 外 部 需求 为 {@&, ii 一 1,23，……m) 加权 目标 约 
东单 机 排序 问题 的 数学 模型 (WCS) Cweighted capacitated single 
machine scheduling) 如 下 ， 


ZZ= min ?wT, 《6. 29) 
z=1 
下 4 
St Dro ds, i= 1,2, 《6. 30) 


t=1 


>» {Qi 十 Sa)} Ce 


t= ,2 max{T|i = 1,2y ,An}, 《6, 31) 
加 若 ze 0， 
” to， 其他， 
7, = maxtt|z, 0 一 1,200 nt = 2 s,s, 
8. 32) 


Ta OF = 2 N12, Ts {6. 337 
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其 中 , 必 : 产 品 了 的 权 因 子 , 了 :完成 需求 也 所 需 的 时 段 , :时段 # 
产品 2 的 生产 批量 ,ai: 产 上 品 志 的 单位 产品 所 占用 的 能 为 ,s;: 产 品 # 
的 生产 准备 所 占用 的 能 力 ,ec,:t 时 段 的 可 供 能 力 总 量 . 

模型 WCS 中 ,zs ,Ti 为 变量 ,za 为 决策 变量 ,决定 每 一 产 
卓 在 各 时 段 的 生产 批量 ,7, 和 了 为 xz. 的 应 变量 ,由 (6. 32) 式 表 
东 , 《6.29) 为 目标 函数 ,使 完成 所 有 需求 了 4 一 1，2,…，m ) 所 需 
的 时 段 的 加 权 平 均值 最 小 ,该 目标 消 数 中 的 权 因 子 是 林 于 用 户 对 
产品 需求 的 紧迫 性 ,重要 性 等 因素 来 决定 的 . 《6. 30) 表 示 总 产量 与 
总 需求 平 奖 .56. 31) 为 能 力 约 束 方程 . 由 (6. 32) 可 以 看 出 ,WCS 是 
一 个 非 线 性 的 混合 整数 规划 问题 . 

定理 6.11 WCS 的 问题 复杂 性 为 NP-hard. 

证 明 定义 一 个 3-partition 问题 为 :37 个 元 素 满 足 

守 di< 一 1,2,.…,3T， > = TD, 

是 否 能 将 上 面 37 个 元 素 划 分 成 部分, 辣 得 每 部 分 包含 三 个 元 
素 且 三 元 素 之 和 为 D? 

按 下 列 条 件 构造 一 个 判定 问题 ;对 给 定 工 ,在 WCS 中 , 设 如 
二 1,Q; 一 415 二 A 之 D>>0, 产 品 需 求 为 2.1 二 1,2,*…,n. 它们 满足 . 
Db 


3 
n= 3T, Yd,= TD, 革 
1 一 1 


是 否 有 


一 本 去 号 一 站 十 34.D>0. 


PDT, 0 十 TDT? (6. 34) 
i=t 


首先 ,非常 容易 验证 3-partition 问题 的 任何 一 个 “是 ”实例 是 
WCS 判定 问题 的 一 个 “是 ” 实 便 . 因为 每 一 时 段 的 能 力 约束 为 DD 十 
344, 所 以 最 多 可 以 生产 3 种 产品 , 叉 x==3 了 ,4di>>0, 由 (6. 34) ,必须 
在 了 时 颖 内 完成 所 有 的 产品 加 工 , 这 样 在 本 时 眉 内 每 一 时 段 正 好 
生产 3 个 产品 ; 且 不 允许 在 一 产品 拆 分 ,因为 在 何 一 个 产品 拆 分 必 
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增加 一 个 生产 准备 占用 ,于 是 ,WCS 的 一 个 “是” 实例 是 3-patti. 
tion 问题 的 - -个 "是 ” 实 俩 .反之 ,对 WCS 判定 何 题 的 任何 一 个 
“是 ?实例 ,由 它 的 条 件 ,限定 得 个 时 段 能 上 且 只 能 和 后 产 三 个 产 丰 ,还 
必须 在 下 个 时 段 内 完 或 . 由 此 证 明 3-partition 问题 多项式 转换 为 
WOCS 的 判定 问题 . 已 知 3-partition 问题 是 NE-C5 ,于 是 该 WCS 
判定 问题 为 NP.C: 因 此 ,优化 问题 WCS 为 NP-hard. 口 

下 面 构 闭 -- 个 简单 而 直观 的 算法 , 该 算法 的 基本 思想 是 将 
foo 一 1， 2 sn) 中 较 大 权 数 所 对 应 产品 尽 可 能 早 的 完成 ,以 达 
到 目标 (6. 29) 最 小 . 


算法 A 
STEPD S= 让 ,上 0 二 11， 2 #), 从 第 一 个 时 段 1=1 开始 ; 
STEP] 当 如 关 人 时 ,zw 一 max{rww,1iEU), 依 时 段 1 能 力 约 束 
6.31) 情况 将 i" 及 可 能 往 前 安排 直到 .全 部 生产 . 可 
能 出 现 以 下 几 种 情况 ， 
(1) 车 i 的 全 部 需求 dQ: 没有 全 部 生产 , 且 有 时段 1 的 能 力 
足以 满 中 产品 六 的 生产 准备 占用 , 则 以 上 时 段 的 最 
大 余 能 力 生产 产品 六 ,产品 六 的 未 能 加 工事 分 到 
t 十 1 时 自生 产 ,* 一 上 十 1, 返 回 STEP1， 
(2) 菏 二 的 全 部 需求 Qi' 已 全 部 生产 , 则 5 二 5 十 {i" 1. 当 
S 一 (1，2,…，za} 时 ,停止 ,否则 辽 一 局 一 ,返回 
STEP]. 
(3) 若 i 的 全 部 需求 di: 没有 全 部 生产 , 且 尖 法 在 该 时 段 
生产 ; 因 U=U 一 {i'), 氨 回 STEP1. 
STEP2 车 UU 一 BSE{l 3, 则 上 一: 十 1 一，2m， 
Rn} 一 9S, 返 回 STEP1. 
一 
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这 一 算法 实际 是 一 种 宽 禁 算法 . 从 下 观看 ,这 -算法 同 背 包 问 
凑 的 贷 短 党 法 非常 相像 .不同 的 是 ,WCS 要 求 所 有 的 外 部 需求 都 
得 完成 ,而 背包 疝 题 中 在 能 力 不 够 时 , 某 些 物 唱 可 以 不 装 .下 例 表 
明 算 法 A 的 最 坏 界 为 无 限 . 

例 6.12 设 产 品 数 一 6, 生 产 准 备 占 用 能 旋 5 一 50 一 1， 
2,…， 人 ,单位 产品 占用 能 力 a 二 1(i 二 1,*…，6) ,其 他 系数 如 下 ， 
wi .05, ws = 1.04, w = 1.03, w, 一 1.02， 

ws = 1.01, ws = 1.00, 
d=6d = 5d = 4,d = ad =2,d = 1, 


c = 25， c= 26, 0 = 5+ a > 2). 


由 算法 4 计算 得 :在 了 二 1 时段, 生产 d, 一 6, 忆 = 一 5, 能 力 结余 
4 ;因为 3 一 (一 上] 和 6), 所 以 无 法 再 安排 其 他 生产 . 在 了 一 2, 生 
产 da 一 4 二 3:ds 一 2 能 力 还 余 2. 同 了 = 1 相同 的 道理 ,cg 一 1 只 


能 在 (>>2 的 时 段 安排 . 因 * 一 5, 2 一 1, 故 有 d=1 的 完成 其 
了 一 十 co 从 例 中 所 给 系数 串 以 排 一 生产 计划 ,在 人 一 1, 工 =2 两 
个 时 段 完成 所 有 的 外 部 需求 . 如 了 一 1 时 生产 ds 一 5.d, 一 3.d; 一 
2, 本 二 2 时 生产 d=6.4d; 一 4,ds 二 1. 因此 , 算 兴 A 在 最 坏 情 况 下 
无 界 . 口 

在 给 出 拉 格 朗 日 松弛 算法 之 前 , 先 研究 WCS 的 拉 格 朗 日 松 
弛 理论 , 从 WCS 的 模型 中 可 以 看 出 ,能 力 约束 (6, 31) 将 各 产品 联 
系 在 一 起 ,因此 对 约 东 (6. 31) 进 行 拉 格 朗 日 松 熟 , 因 了 , 是 一 个 变 
基 , 是 目标 函数 中 项 要 优化 的 变量 ,而 拉 格 朗 日 铁 子 的 维 数 为 了 = 
maxtT|z 一 1,2，…2) 是 一 个 变量 . 技术 处 理 的 方法 是 假设 工 充 
分 大 , 即 认为 产品 可 以 在 有 限 的 时 段 内 加 工 完 成 . 

对 于 充分 大 的 了 , 拉 格 朗 日 松 训 后 的 数学 模型 LRP 是 ， 
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ZZ = maxz(la) 
下 


LRPY 一 max min| DwT, + DA{ > [ae 十 sy 一 e 

St。 (6.30), C6. 327，(6.33)7 和 六 00. 
其 中 是 一 《eaxTs -个 nxT 的 变量 矩阵 ,一 (4 ， A 

由 于 松弛 了 (56.31),(6.30)、(6.32) 和 (6.33) 所 决定 的 模型 
LRP 是 无 能 力 约束 的 单机 排序 问题 ,对 给 定 充分 大 的 了 本 ,各 产品 
的 完工 时 间 都 可 在 立时 段 内 究 成 , 即 1 委 卫 委 工 . 因 拉 格 朗 日 松弛 
后 目 慰 沙 数 的 惩罚 性 ,使 得 (1 所 T 志 TT) 在 一 个 充分 大 的 范围 内 
取 秆 . 在 技术 处 理 LRP 时 , 症 可 以 从 1 逐步 增加 .对 给 定 的 芽 , 等 
价 于 当 t> 了 了 取 4 一 0 

记 


严 了 对 
EC(E,T ,A) 一 > wT; 二 Da{ Dear t sYs] —e}, 
i=] 4 一 1 1 一 上 


(6. 35) 
则 (6. 35) 可 以 改写 为 下 列 形 式 : 
下 了 于 T 
8K TA = DwT tt Dhar t DasY,s | > he 
t=l t=1 # 一 ] 了 一 上 


《6. 36) 
再 记 


TI I 
hCG ET A 一 soT DAazst SasiYs, (6,37) 
一 1 上 一 1 
由 (6.35)， (6. 36) 和 (6. 37) 可 推出 
严 了 rn 
maxZ (A) = max min{ ST 十 rt 人 [er 十 syYz] 一 c} } 
一 max ming(X,T ,A) 
9 I 


T 
一 max 了 | minh (i, ,TA) 一 Ace 


i=l] z 呈 1 
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LRP 可 以 表示 如 于 ， 
| 了 
| 一 max{ >， minkCi,¥X,T,A) ace 


st, (6.30), (6.32), (6.33) 和 六 小 
求解 LRP 就 可 分 成 两 步 . 首先 , 当 A 之 0 为 定数 时 求解 下 列子 


(6. 38) 


问题 : 
SUBP 
了 了 了 
mink(i XT A min{w Tt Dea 十 257 
MM 7 =1 1 (6. 39) 
s.t. (C6, 30)， C6.32) 和 (C6. 33) 。 
得 
a 了 
FM) = > minh (isl,T,A) 一 2 he, (6. 40) 


1 一 ] 


而 后 ,再 从 所 有 的 az 中 对 (6. 40) 求 最 大 值 . 
定理 6.12 对 给 定 充分 大 的 了 , 若 44 一 1 2 7 已 知 且 非 
负 , 则 SUBP -. 定 有 下 列 形式 的 最 优 解 ， 
[4&.， 存在 某 一 ,0 所 1 一 丰 委 了 ， 
= ft. 
证 明 设 工 一 1,2, 呈 ,TT) 为 SUBP 的 最 优 解 . 设 == ,is， 
时 0 令 一 min {和 |zwx>0). 根 据 C6. 39) ,很 易 得 


T 了 
Daa 十 > ,An 
t=1 上 一 1 

2 PE cd 十 A 3 
> Nr a tT A $y 

且 由 zi 了 ro ,推出 3 

。 二 站 一 £" a 

Ti CO 
0, zt"， 


为 最 优 解 . 结论 得 证 . 文中 后 续 的 拉 格 衣 日 算法 正 是 基于 此 结论 ， 


这 步 夺 代 授 近 最 优 甫 - | 
由 定理 人. 12, 求 解 SUBP 的 最 优 解 只 需 判 断 
wt A (ad 5} 
wi 二 had + 0RYiTI. 
计算 出 (6. 41? 的 六 最 多 需要 了 次 比较 ,所 以 当 ， 确 定时, 求 
SUBP 的 最 优 解 相当 容易 . 此 时 .可 得 到 (za 一 1， 2 7 
一 1，2,…， 了 工 } .我 们 还 必须 求解 不 使 得 ZX) 接近 或 等 于 了 Z. 当 玫 
一 fr 一 1 2 一 1 2 全 } 为 满足 6.41)7 的 最 优 解 时 ,下 
列 身 荐 pC) 二 Cw, XD, v2 ,oT, EE)) 


《6. 41》 


I 


PO KY = {DV [ars tt SY ee), t= 1,2,.,T, (6.42) 


工 ，。 工 关 0， 


Pp .25 可 题 )， ， + 一 | 
为 LRP 满足 (6, 25) 的 次 梯度 (练习 题 ) ,其 中 ,x 0， 其 他 . 


采用 56. 28 的 选 代 步 长 法 和 以 下 两 条 判 停 准 则 : 
(a) 和 苔 定 迁 代步 数 上 限 ; 


(bh) 给 定 充分 小 的 e>0， 2 Ce 时 . 

由 拉 格 妆 日 松弛 判 停 后 ,所 得 到 的 解 瑟 不 一 定 是 WCS 的 可 
行 解 . 当 为 WCS 的 不 可 行 解 时 , 需 进行 解 的 可 行 性 修改 . 嫉 改 的 
原则 是 , 闭 时 段 : 的 排序 超过 其 能 力 ,尽量 将 权 数 大 的 所 对 应 的 产 
由 前 移 到 尚 有 余 能 力 的 时 段 生产. 若 前 称 不 行 , 则 尽 可 能 将 权 数 小 
的 产品 后 移 圣 有 能 力 余 量 的 一 个 时 自生 产 , 以 达 解 的 可 行 . 车 前 两 
方案 都 达 不 到 可 行 解 , 则 以 再 增加 时 段 来 完成 . 


算法 B 

STEPO 了 =1,i(1) 一 0,Z 为 算法 4 求 得 的 目标 值 ,一 0. 

STEP]1 解 SUEBP, 以 人 6.41) 分 别 求 出 SUBP 中 每 一 产品 的 最 优 
解 ,再 以 (6.42) 求 次 梯度 w(E) ,最 后 由 (6.28) 求 解 外 ， 
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A 一 max{0; 计 十 gyC 和 下)), 若 不 满足 判 停 准则 ， 
C1) 当 虹 (二 和 时 必 一 上 十 1 返回 STEP1; 
(2 时 ,TT 二 1 WT 0,k8= 上 二 +]， 
返回 STEP1; 戎 满足 判 停 浴 则 ,到 STEP2. 
STEP2 若 所 求解 为 WCS 的 可 行 解 ,停止 .和 否则 , 按 上 面 讨论 进 
行 可 行 性 处 理 . 


以 上 算法 在 PC-386 采用 Turbo C 编程 ,分 别 就 二 30 个 产 
品 , 将 产品 需求 分 为 四 类 ,每 类 各 产生 10 个 正 态 分 布 的 数据 文件 ， 
其 正 态 分 布 的 均值 和 方差 见 表 6.1. 每 ~ 时 段 和 的 能 力 约 束 分 别 为 
wi 与 3 均值 之 和 的 1,2.4,6 悦 ,ae 都 取 1. 因 此 ,由 四 类 产品 需求 
及 四 类 能 力 约束 的 组 合 , 共 16 组 .每 组 10 个 数据 文件 , 共 160 个 
数据 文件 进行 验证 . 


表 61 数据 分 类 


项 目 均值 方差 项 目 均值 方差 
权 困 子 ze 50 10 产品 需求 3 10 2 
生产 准备 s 10 2 产品 需求 3 40 10 
产品 需求 1 5 1 产品 需求 4 I00 10 


计算 中 , 拉 格 朗 日 松 驰 的 判 停 挝 代 次 数 为 200 次 ,e 一 0.01. 计 
算 结 果 见 表 6. 2, 其 中 ,比例 (a : 5&5) 为 能 力 约 束 与 5 利 两 项 均值 
和 的 比 .Z 为 算法 A 的 计算 结果 ,Zis 为 算 潜 B 的 拉 格 朗 日 松 弦 
下 界 ,Zs 为 算法 B 可 行 化 后 的 最 终结 果 . 表 中 Za,Zn ,Zi 为 对 应 10 
个 数据 文件 计算 结果 的 平均 值 ,GAP1 和 GAP2 按 如 下 定义 
2 Zs, GAP2— 二 4 


TB 二 LE 


GAP!} = 


从 计算 结果 可 以 着 出 , 当 每 -- 时 段 能 力 平均 意义 下 只 能 完成 
一 个 或 两 个 产品 时 (1 :1 或 2 :1 部分), 算 法 A 的 结果 比较 好 , 太 
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组 巾 , 有 区 组 结果 好 于 算法 上 ,一 组 相同 ,三 组 次 于 算法 B, 从 直观 
解释 ,此 时 可 根据 权 因 于 大 小 排序 ,但 当 每 时 段 可 完成 多 类 产品 
时 ,算法 B 的 结果 好 十 算法 入, 八 组 都 不 次 于 算法 上 ,特别 是 第 十 
二 组 差 什 高达 0. 53. 同时 还 可 以 看 出 , 当 每 时 段 可 完成 产品 类 越 
多 时 , 拉 格 朗 口 松弛 算法 所 得 下 界 Zis 和 Zs 的 相对 误差 变 得 越 
小 .从 计算 结果 综合 来 说 , 拉 格 遍 日 松弛 算法 对 能 力 约 束 单机 排序 
问题 是 比较 适用 的 . 


表 5.2 计算 结果 的 平均 值 
组 数 { 上 比例) Za 2 Zs GAPI GAPS 


1(1: 1) 35047. 40 20322. 76 31008, 30 心 53 0.27 
2 .C11 1 32069. 50 20167. 81 34853, 10 0.73 —0.,15 
3t1:1) 25631， 60 19267. 57 32511. 30 0.69 一 1.08 
4(1:1) 25018, 20 20249, 87 28256. 20 0.40 一 1.898 
5 2:1) 13987. 60 10440, ?2 13747. 10 0. 32 0.07 
6 (2: 1 13073. 20 10430, 44 13644. 60 0.31 一 9 22 
?7 723:T) 11943. 60 10195, 2€6 11924, 10 0.17 0.01 
8 (2:1) 11383, 80 10527. 58 11382, 20 0.08 0. 00 
9 4:1) 504. 60 S646, 47 246. B80 0.11 D. 30 
10 {4:1) 636],， 10 5655. 45 6247. 40 0, 10 0.16 
11 (4:12 B100, 40 3018, 72 5915. 40 0.07 0. 32 
12 (4: 12 016. 90 S675.72 5837. 60 0. 03 0. 33 
13 6 :1) 4406. 00 4045, 23 4309. 20 0.07 0. 27 
14 6:1) 4376. 70 4047. 10 4380. 80 0.08 0 
15 《6 1) 4303. 90 3957.02 4188. 80 0.06 0.33 
16 t6 :17 4255. 90 4054. 58 4224. 00 0.04 0.16 
练 习 题 


1. 证 明 : C6. 42) 是 LRP 满足 C6. 25) 的 次 樟 度 . 
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2. 与 松弛 相对 充 的 一 个 概念 是 限制 . 整数 规划 IP 的 - -个 限 
制 问题 
Zr 一 Inin{ZR( | 人 人) 
满足 falSncS 一 人 YE tn [Ax>Bb, Brad), Ch)Ze(r) eTr. 
《1) 通过 和 什么 样 的 处 理 方 法 可 以 实现 IP 的 限制 ? 
(2) 能 得 到 怎样 的 结论 ? 
3. 整数 规划 问题 
min7z) 十 6zy 十 ?x 


3 也 1 
Eh 
3 1 2 


ED, 
分 别 用 图 解 的 方法 就 以 下 条 件 求 上 述 整 数 规划 问题 的 拉 格 朗 日 对 
偶 最 优 值 . 


< 5 一 | | 时 , 拉 柯 妆 日 松 兄 第 一 个 约 东 ， 


C2) =| ,| 时 , 控 格 朗 日 权 邓 第 二 个 约束 的 信 ; 


{3) 1) 和 (23 的 值 是 否 有 差别 ? B 为 多 少时 , (1) 和 人 巡 ) 的 值 相 
等 且 与 上 面 整数 规划 的 目标 值 相等 ? 
4. 整数 规划 问题 
1 


4 
s.t, Il 
1 一 工 1 


对 上 面 整 数 规 划 问 题 按 以 下 各 条 性 分 别 讨论 : 

(1》 证 明 : 采 用 拉 格 朗 日 松弛 上 述 整 数 规划 中 的 任何 两 个 约 
束 , 则 控 格 朗 日 对 偶 值 等 于 上 述 整 数 规 划 的 线 件 规划 松弛 的 晤 
优 值 . 


Nax2z| 十 5 
28 
:EE 3 


Xs < 
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2》 寻找 -一 个 目标 函数 合 得 (1 不 成 立 . 

(3) 证 明 : 控 格 朗 日 松弛 任何 一 个 约束 的 拉 格 朗 日 对 偶 值 都 
是 线性 规划 松弛 的 改进 . 

(4) 将 (1) 一 (3) 用 图 解法 表示 出 来 . 

5. 就 店面 整数 规划 问题 分 别 松弛 两 个 约 东 的 两 种 近 格 朗 日 


松弛 方法 
max >) 了 epa 
st DA EM 
二 
Dz Eb EE NN, 


IE {OMYIN, 
比较 它们 在 以 下 各 方面 的 优 劣 势 ; 
《1) 锥 弛 后 的 子 问题 是 否 容易 求解 ? 
(2) 拉 格 朗 日 对 侦 是 否 容易 求解 ? 
(3) 拉 格 度 日 对 偶 东 的 优 劣 ? 
5. 就 下 面 整数 规划 问题 分 别 松弛 两 个 约束 的 两 种 拉 格 朗 晶 
松弛 方 法 
min >) DY hy 十 Per, 
JEN 


iEMIEN 


EP Da zi 人 邮 ， 
了 


Diy, br 所 N, 


Wminta ob)}r i GE 
y ERT,xE {0,1} NI, 
讨论 拉 格 朗 日 松弛 各 种 药 束 的 优 劣 性 . 
7. 考虑 无 约 东 单机 排序 问题 :az 个 工件 在 一 台 机 器 上 加 工 ， 
Pixr; 和 wj 分别 基 工 件 j 了 的 好 工 时间、 最 旱 开 工时 间 和 权 数 , 这 址 
是 已 庆 参数, 记 4 为 工件 了 的 开工 时 间 , 极 小 化 却 权 开工 时 间 的 单 
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机 排序 问题 ,使 24 tt, 最小. 若 没有 最 早 开工 时 间 的 限制 , 即 所 


有 二 0, 最 优 加 工 顺 序 是 按 二 (一 1,2,… ,wm) 从 大 到 小 加 工 .如 何 


建立 这 个 疗 题 的 数学 模型 和 进行 拉 格 朗 日 松弛 以 得 到 问题 的 一 个 
下 界 ? 

8 考虑 第 四 齐 4. 6 节 的 生产 批量 问题 ,怎样 应 用 拉 格 前 日 松 
弛 得 到 问题 的 一 个 下 界 ? 怎样 构造 一 个 基于 拉 格 朗 日 松弛 的 启发 
式 算 法 ,以 得 到 问题 的 一 个 可 行 解 ? 

9. 通过 数值 计算 的 方法 验证 对 练习 7 的 分 析 结 果 . 

10. 就 关心 的 组 合 优化 间 题 应 用 拉 格 朗 日 松弛 算法 . 
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索引 及 英文 关键 词 


(1) 按 笔划 顺序 排列 . 
《2) mn 指 第 m 单 第 mn 节 . 


2 
2-apt 1. 3 
3 
3-partition 6.5 
起 
ADALINE 5.2 
H 
Hebb 规则 5.2 
Hopficld 大工 神经 网 络 5.5 
L 
Lyapunov 能 量 耳 数 5.5 
M 
McCulloch-Pitts 让 知 网 络 5.1 
N 


NP nondeteriminjstic polynomial 
1.2:1,5 

NPC NP-Complete 1.5 
NP-hard 1.2,1.5 

5 
StSigmoid) 形 了 荡 数 ”5.2 

T 
TSP 1.1 


其 
二 近似 算法 Eapproxitnation algo- 
rithm 1.4 
一 划 
人 人 工 神 经 网 络 artifieial neural 
networks 5.1 
三 其 
三 精确 村 六 3-exact cover 1.5 
下 料 问 题 cutting stock 3- 
切割 3.6 
大 规模 计算 分 析 1.4 
子 代 群体 children population 
4.1 
蕊 尔 可 去 (Markov) 链 3.2,4.3 
不 可 的 irreducible 3.2 
半 序 性 semi-order 3.2 
平和 多 分 布 “ stationary distribw- 
tion 3.2 
正常 返 3.2 
时 齐 hemogeneous 3.2 
迟早 到 达 概 率 ”3.2 
局 期 periodic 3.2 


索引 爱 英 文 关 键 词 
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非常 返 ”3.2 
常 返 3.2 
四 刘 
内 核 body 5.1I 
反 推 学 习 规 则 backpropagation 
号 . 号 
反馈 型 神经 网 络 feed-back neural 
networks 5.5 
连续 系统 5.5 
离散 泵 统 5.5 
无 监督 学 本 5.4 
计算 复杂 性 1.2 


车 间作 业 调 度 问 题 
scheduling problem 2.4 


天 划 


job shop 


代理 松弛 法 surrogate relaxation 
6.1 
阿 活 数 6.4 


对 偶 规 划 松 弛 方法 dual finear 
Pprogramming relaxation 6.1 
平衡 点 5-5 
六 基 
交配 crossover 4.1,4,4 
全 局 最 搞 global optimization 
1.3 


关键 路 critical path 2.4 
动力 系统 5.5 
同步 算法 5.5 


密 野 前 向 神经 网 络 


teed-iorward neural networks 


5 3 


multi-iayer 


针 项 式 归 区 polynomial reduction 
1.5 

黎 项 式 问 题 polynomial 1.2 

甸 项 式 转 办 bolynomial transfor- 
mation 1.5 

异步 算法 5.5 

异 或 问题 XOR 一 一 exclusive_or 
5. 1 ;5.2,5.3 

有 指导 学 习 5.1 

次 梯度 subgradient 5. 和 

次 梯度 找 北 
tion 6.4 

议 梯 度 优 化 算法 
mization algoithm 在 44 

死 锣 再 旬 deadloeck 2.4 


subgraqient optimiza- 


subgradient opti- 


鸡 束 机 鼎 排 序 问题 capacitated 
machine scheduling 1.1,4.4, 
.5 


芍 东 批量 计划 与 调度 Capacitated 
Lotsize Planning and Scheduling 
2.3;,4.6 

问题 problem 1.5 

七 划 

判定 问题 decision problem 1.5 

启发 式 算法 heuristic algorithm 
1.4 


吸引 子 5.5 
吸引 域 5.5 
局 部 搜索 lecal search 2.1 


局 部 最 优 local optimization 414.8 
指 其 问题 4.6 
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时 间 窗 口 的 车 辆 氏 路 问题 1.4 

连通 2.2 

邻居 neighbor 1.3 

邹 虞 ”neghborhood 1.3 

分 域 搜索 local search 1.4 

乓 划 

单 层 前 向 神经 网 络 
feed-forward neural networks 
5.2 

节点 着 色 阿 题 node coloring 
Problem 2.4 


single layer 


寞 例 instamce 1.2,1.5 
性 能 分 析 .4 
拉 格 度 日 分 解 ” Lagrangean decom- 


Position ¢.3 
拉 格 妆 日 对 偶 Lagrangean dual 
6.2 
拉 格 朗 日 松弛 Lagrangean relax- 
1.4,6.1:6.2 
启发 式 竺 法 6.4 
理论 6.2 
等 号 约束 ”6.3 
算法 64 
整数 性 63 
松弛 relaxation 6.2 
析 取 图 disjunctive graph 2.4 
波 慈 蝇 (Boltzmann) 概 率 分 布 3.1 
现代 优化 算法 ”1.4 
钱 性 网 络 5.2 
线性 规划 问题 
ming 1-.2,1.5 


ation 


linear program- 


现 民 优 北 计算 方法 


线性 规划 松弛 
ming relaxation 

组 合 最 优化 
mization 1.1 

规划 论 松弛 方法 61 

疯 禁 算法 greedy algorithm 1.4 

转盘 风 4.1 


linear program- 
1.4,6-1 


combinatorial opti- 


非 多 项 式 确 定 nondeterministic 
polynomial 了 .5 
非 线性 搞 经 网 络 5.2,5.3 
变异 ”mutation 4.1 
变形 算法 elastic net method 
5.5 
九 划 
染色 栖 chromosome 4.1 
相对 差 1.4 
矩阵 
归 的 4.3 
本 原 4.3 
全 正 4.3 
列 容 4.3 
非 负 ”4.3 
随机 4.3 
稳定 4.3 


种 群 reproduction 4.1 

罕 触 synapse 5.1 

第 对 差 让 4 

背包 问题 knapsack problern 
1.1,1.4 

轴 寞 axon 5.1 

适 定 性 问题 


satisiiability problem 


索引 及 英文 关键 词 
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1.5 
十 泗 
昱 遍历 ”weakly ergodic 名 和 
旅行 商 问 题 TSP--travelling 


salcsman problem 1.1,1.5 
积木 块 building stock 4.2 
竞争 学 当 神 经 网 络 5.4 
十 一 划 
基因 gene 4.1 
符号 是 数 5.8 
阔 值 threshold 5.1 
十 二 划 
驯 遍 历 strongly ergodic 3.4 
晶 枝 denqdrite 5.1 
替换 率 ”4.4 
最 小 二 乘 学 习 规 则 LMS-least 
mean Square 5. 过 ,5. 3 


最 坏 情形 分 析 worst case analysjs 


1.4 

编码 4.4 

装 箱 问题 bin packing ptobiem 
1.1.1.5 

得 忧 模 所 退火 算法 ”4.5 

遗传 算法 genetic algorithms 
4.1 
全 局 最 扰 。 4.3 
在 线 比 较 法 4.4 
初 区 群体 4.4 
技术 问题 4.4 
天 应 栈 数 ”4.4 


内线 比较 法 4-1 


停止 规则 。 4- 二 
陷 式 并 行 性 
lelism 4.2 
群体 的 规模 4. 4 
集合 划分 问题 partition problem 
1.5 


implicit Fatai- 


集合 和 履 盖 问题 set covering prob- 
lem 6.1 
二 三 划 
数学 规划 算法 1.4 
福 率 分 析 1.4 
禁 馈 搜索 tabu search 2.1 
禁 忆 搜索 算法 ”2.2 
记忆 频率 ”2.3 
评价 责 数 2.3 
终止 规则 2.3 
恨 选 集合 2.3 
特赦 规 贡 aspifation criteria 
2.3 
最 优 证 理 2.2 
禁忌 长 度 2.3 
禁 感 对 银 2.3 
算法 2.2 


简单 遗传 算法 41 
群体 population 4. 1 
蒙特 卡 罗 算 法 2.1 
解 空 间 松 弛 14 
输入 长 度 size 1.5 
十 四 划 
模 氢 退火 simulated annealing 
3.1 
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产生 概率 ”generation probability bility 3-.1 
3.1 温度 磊 数 ”3-5 
技术 间 题 3.5 数学 模型 ”3.1 
时 齐 算 法 homogeneeus 解 的 形式 3.5 
3- 5 算法 3.1 
时 章 算 装 的 收 语 性 ”3.3 模 株 定理 schema theorem 4.2 
部 域 结 构 3.5 模板 的 长 度 4.2 
终止 原则 3.5 模板 的 阶 数 ”4#-2 
转移 概率 transition probabil- 模板 理论 schema theorem 4.2 
ity 3.] 稳定 性 ”5.5 
选 代 长 度 3.5 十 六 划 
非 时 齐 算 法 inhomogeneous 整数 线性 规划 integer linear Pro- 
3 4 gtatnming 1.1 
非 时 齐 算 法 的 收 训 性 ”3-4 微 活 函数 activation function 


接受 概率 


acceptance proba-— 


5.1 


